Багато хто покладається на LLM також для виконання математичних операцій. Такий підхід не працює .

Проблема насправді проста: великі мовні моделі (ВММ) насправді не вміють множити. Іноді вони можуть отримати правильний результат, так само, як я можу знати значення числа пі напам'ять. Але це не означає, що я математик, так само як і те, що БММ дійсно знають математику.

Практичний приклад

Приклад: 49858 *59949 = 298896167242 Цей результат завжди однаковий, тут немає середини. Він або правильний, або неправильний.

Навіть з масивною математичною підготовкою найкращим моделям вдається правильно розв'язувати лише частину операцій. З іншого боку, простий кишеньковий калькулятор завжди отримує 100% правильних результатів. І чим більшими стають цифри, тим гірші результати роботи LLM.

Чи можливо вирішити цю проблему?

Основна проблема полягає в тому, що ці моделі навчаються за подібністю, а не за розумінням. Вони найкраще працюють з проблемами, схожими на ті, на яких їх навчали, але ніколи не розвивають справжнього розуміння того, що вони говорять.

Для тих, хто хоче дізнатися більше, я пропоную цю статтю про "як працює LLM".

З іншого боку, калькулятор використовує точний алгоритм, запрограмований для виконання математичних операцій.

Ось чому ми ніколи не повинні повністю покладатися на LLM для математичних розрахунків: навіть за найкращих умов, з величезними обсягами конкретних навчальних даних, вони не можуть гарантувати надійність навіть у найпростіших операціях. Гібридний підхід може спрацювати, але одних лише LLM недостатньо. Можливо, цей підхід буде використаний для вирішення так званої"полуничної проблеми".

Застосування магістерських програм з математики у вивченні математики

В освітньому контексті LLM можуть виступати в ролі персоналізованих тьюторів, здатних адаптувати пояснення до рівня розуміння студента. Наприклад, коли студент стикається із задачею з диференціального числення, LLM може розбити міркування на простіші кроки, надаючи детальні пояснення для кожного етапу процесу розв'язання. Такий підхід допомагає сформувати міцне розуміння фундаментальних понять.

Особливо цікавим аспектом є здатність магістрів наводити релевантні та різноманітні приклади. Якщо студент намагається зрозуміти концепцію межі, LLM може представити різні математичні сценарії, починаючи з простих випадків і переходячи до більш складних ситуацій, таким чином забезпечуючи поступове розуміння концепції.

Одним із перспективних застосувань є використання LLM для перекладу складних математичних понять на більш доступну природну мову. Це полегшує донесення математики до ширшої аудиторії і може допомогти подолати традиційний бар'єр доступу до цієї дисципліни.

Магістри також можуть допомагати у підготовці навчальних матеріалів, створюючи вправи різної складності та надаючи детальний зворотній зв'язок щодо запропонованих студентами рішень. Це дозволяє викладачам краще адаптувати навчальний процес для своїх студентів.

Реальна перевага

У більш загальному плані слід також розглянути надзвичайну "терплячість" у допомозі навіть найменш "здібним" учням у навчанні: у цьому випадку допомагає відсутність емоцій. Незважаючи на це, навіть ай іноді "втрачає терпіння". Дивіться цей "кумедний приклад.

‍

Оновлення 2025: Моделі міркувань та гібридний підхід

2024-2025 роки принесли значні зміни з появою так званих "моделей міркувань", таких як OpenAI o1 та deepseek R1. Ці моделі досягли вражаючих результатів у математичних тестах: o1 правильно розв'язує 83% завдань на Міжнародній математичній олімпіаді, порівняно з 13% для GPT-4o. Але будьте обережні: вони не вирішили фундаментальну проблему, описану вище.

Проблема з полуницею - підрахунок букв "р" у слові "полуниця" - чудово ілюструє стійке обмеження. o1 вирішує її правильно після кількох секунд "міркувань", але якщо ви попросите його написати абзац, де друга буква кожного речення складає слово "КОД", він зазнає невдачі. o1-pro, версія за 200 доларів на місяць, вирішує її... після 4 хвилин обробки. DeepSeek R1 та інші останні моделі все ще помиляються в базовому підрахунку. У лютому 2025 року Mistral продовжував відповідати, що в слові "полуниця" лише дві "р".

Трюк, який з'являється, - це гібридний підхід: коли їм потрібно помножити 49858 на 5994949, більш просунуті моделі більше не намагаються "вгадати" результат на основі схожості з обчисленнями, які вони бачили під час тренувань. Натомість вони викликають калькулятор або виконують код на Python - саме так, як це зробила б розумна людина, яка знає свої межі.

Таке "використання інструментів" являє собою зміну парадигми: штучний інтелект не повинен вміти робити все сам, але повинен вміти організовувати правильні інструменти. Моделі міркувань поєднують лінгвістичні здібності для розуміння проблеми, покрокові міркування для планування рішення і делегування спеціалізованим інструментам (калькуляторам, інтерпретаторам Python, базам даних) для точного виконання.

Який урок? Магістри 2025 року є більш корисними в математиці не тому, щовони "навчилися" множити - вони цього ще не зробили - а тому, що деякі з них почали розуміти, коли варто делегувати множення тим, хто дійсно може це зробити. Основна проблема залишається: вони оперують статистичною схожістю, а не алгоритмічним розумінням. Калькулятор вартістю 5 євро залишається незрівнянно надійнішим для точних обчислень.

‍