Штучний інтелект поки що не здатний замінити людських математиків, згідно з результатами «Першого тесту-доказу» – суворого випробування, розробленого з метою оцінки здатності великих мовних моделей (LLM) проводити оригінальні математичні дослідження. Представлене в День святого Валентина випробування включало десять складних «лем» (невеликих теорем), завдання, які зазвичай доручають обдарованим аспірантам. Підсумок? Жодна LLM не вирішила всі десять завдань самостійно.
Випробування та Його Мета
Ініціатива «Перший тест-докази», очолювана одинадцятьма провідними математиками, була спрямована на те, щоб вивести ІІ за межі простого відтворення існуючих технік. Завдання було розроблено таким чином, щоб вимагати справжньої оригінальності, змушуючи LLM синтезувати нові рішення, а не просто змішувати відомі. Цей тест підкреслює критичну реальність: у той час як ІІ досягає успіху в розпізнаванні закономірностей та обробці даних, йому все ще важко дається креативність і абстрактне мислення, які рухають математичними проривами.
Несподіваний Інтерес від Розробників ІІ
Випробування несподівано привернув значну увагу з боку ІІ-компаній, таких як OpenAI, які направили суттєві ресурси на вирішення завдань. Мухаммед Абузаїд зі Стенфордського університету, член команди «Першого тесту-доказу», зазначив: «Ми не очікували, що ІІ-компанії сприймуть це так серйозно і докладуть стільки зусиль». Це підкреслює зростання конкуренції в ІІ-індустрії за розробку моделей, здатних до справжнього математичного мислення.
Результати: Впевненість Не Рівна Правильності
Команда «Першого тесту-доказу» повідомила, що LLM упевнено надали докази для всіх десяти завдань, але тільки два були визнані вірними. Один із цих доказів вже був задокументований, а інший частково заснований на архівному нарисі відомого математика. Крім того, багато поданих рішень виявилися переконливими, але зрештою помилковими, що підкреслює складність розрізнення між справжнім осяянням і правдоподібністю, що згенерувала ІІ.
Погляд на «Стиль» Математичного Мислення ІІ
Цікаво, що правильні рішення, згенеровані ІІ, демонстрували чітко виражений математичний підхід ХІХ століття, за словами Абузаїда. Це говорить про те, що, хоча ІІ може імітувати усталені методи, він ще має розвинутись у напрямку передових технік, що визначають сучасну математику.
Майбутнє ІІ в Математиці
Експеримент «Перший тест-докази» – це не лише невдача. Це можливість навчання. Команда планує другий раунд із суворішими правилами, що свідчить про прихильність до вдосконалення методології та подальшого розвитку ІІ. Незважаючи на поточні обмеження, швидкий прогрес у можливостях LLM дозволяє припустити, що ІІ продовжить відігравати все більш важливу роль у математичних дослідженнях. Деякі математики вважають, що ІІ-інструменти вже готові змінити цю область, як зазначив Скотт Армстронг із Сорбони: «Ці інструменти прийдуть, щоб змінити математику, і це відбувається прямо зараз».
Випробування “Перший тест-докази” підтверджує ключовий момент: хоча ІІ може прискорити певні аспекти математичної роботи, він ще не досяг незалежного, творчого мислення, необхідного для заміни людських математиків.
