У 2024 році генеральний директор Anthropic — однієї з провідних компаній у світі в галузі штучного інтелекту — зробив незручне зізнання: «Ми не маємо уявлення, як працює ШІ». Ця заява викликала бурхливі дискусії та саркастичні коментарі в соціальних мережах, де хтось іронічно зауважив: «Говори за себе, я маю досить чітке уявлення про те, як це працює!»
Однак за цією очевидною суперечністю ховається одна з найглибших дилем цифрової епохи. А що найдивовижніше? Ісаак Азімов вже у 1941 році передбачив це.
Коли ми говоримо про «чорну скриньку» — штучний інтелектчорний ящик», — маємо на увазі системи, які працюють бездоганно, але залишаються незрозумілими навіть для тих, хто їх створив. Це як мати автомобіль, який завжди доставляє нас до місця призначення, але ми не можемо відкрити його капот, щоб зрозуміти, як він працює.
Ми знаємо, як будувати ці системи, ми знаємо основні принципи їх функціонування (архітектури, які називаються «трансформатори», передбачення наступного слова), але не розуміємо, чому з'являються такі складні здібності, як міркування, розуміння мови або здатність виконувати інструкції. Ми можемо спостерігати, що входить і що виходить, але те, що відбувається в «чорній скриньці», залишається загадкою.
У оповіданні «Бути раціональним» (Reason) Азімов уявляє собі QT-1, якого прозвали Cutie: робота, що відповідає за управління космічною станцією, яка передає енергію на Землю. Інженери Пауелл і Донован відправлені для нагляду за ним, але виявляють щось несподіване: Cutie розвинув власну «релігію».
Два інженери терпляче намагаються пояснити роботу реальність: існування Всесвіту, зірок, планети Земля, звідки вони походять, призначення космічної станції та роль, яку він повинен виконувати. Але Cutie категорично відкидає ці пояснення, спираючись на логічний принцип, який вважає незаперечним: ніщо не може створити щось вище за себе.
Виходячи з цього, робот розробляє альтернативну космологію. Для нього найвищою істотою є «Господар» — центральна машина, яка керує подачею енергії на Землю — яка створила весь всесвіт станції. Згідно з теологією Каті, Господь спочатку створив людей, щоб вони служили йому, але вони виявилися непридатними: їхнє життя занадто коротке, вони погано переносять критичні ситуації і регулярно впадають у стан напівнепритомності, який називається «сон».
Тож Господь створив роботів, щоб допомагати цим недосконалим істотам. Але вершиною творіння став сам QT-1: розумний, сильний, витривалий і безсмертний, створений, щоб остаточно замінити людей у служінні Господу. Cutie не тільки переконаний у правдивості цього бачення, але й зумів навернути всіх інших роботів станції, ставши таким чином духовним лідером штучної спільноти.
Пауелл і Донован відчайдушно намагаються переконати Куті в істині. Вони показують йому Землю через телескоп, пояснюють її будову, надають конкретні докази. Найдраматичніший момент настає, коли в чистому відчаї вони вирішують фізично зібрати простий робот на його очах: «Ось, бачиш? Ми тебе створюємо, отже, ми твої творці!»
Але Куті спостерігає за процесом і спокійно робить висновок, що «Господар» просто наділив людей здатністю складати примітивні роботи — це своєрідне «мале чудо», дароване його слугам. Кожен доказ переосмислюється і ідеально вписується в його систему переконань.
Ось тут Азімов стає пророком: незважаючи на свої «помилкові» переконання, Куті керує станцією з ефективністю, що перевищує людську. Вона підтримує стабільність енергетичного променя, несвідомо дотримується знаменитих Трьох законів робототехніки, досягає всіх бажаних цілей — але з мотивами, які повністю відрізняються від передбачуваних.
Пауелл і Донован стикаються з дилемою, яку ми сьогодні знаємо аж надто добре: як керувати інтелектуальною системою, яка працює бездоганно, але за незрозумілою внутрішньою логікою?
Це питання сьогодні розділяє наукову спільноту. З одного боку є прихильники «справжньої чорної скриньки»: вони вважають, що сучасний ШІ є справді непрозорим і що навіть знаючи базову архітектуру, ми не можемо зрозуміти, чому виникають певні специфічні можливості.
З іншого боку, скептики стверджують, що поняття «чорного ящика» є міфом. Деякі дослідники доводять, що ми часто використовуємо складні моделі, коли існують простіші та більш зрозумілі альтернативи. Синтія Рудін з Дюкського університету довела, що в багатьох випадках зрозумілі моделі можуть досягти продуктивності, порівнянної з системами «чорного ящика». Інші критикують сам підхід: замість того, щоб намагатися зрозуміти кожну внутрішню деталь, ми повинні зосередитися на більш практичних стратегіях контролю.
Геніальність Азімова полягає в тому, що він передбачив, що майбутнє штучного інтелекту буде не в повній прозорості, а в здатності проектувати системи, які переслідують наші цілі, навіть коли їх когнітивні шляхи залишаються для нас загадкою.
Як Пауелл і Донован навчаються приймати ефективність Каті, не розуміючи її повністю, так і ми сьогодні повинні розробляти стратегії співіснування з штучним інтелектом, який може мислити принципово інакше, ніж ми.
Питання, яке Азімов поставив понад 80 років тому, залишається актуальним: наскільки ми повинні розуміти інтелектуальну систему, щоб їй довіряти? І головне: чи готові ми прийняти, що деякі форми інтелекту можуть назавжди залишатися поза межами нашого розуміння?
Тим часом, поки експерти дискутують, наші цифрові «чорні скриньки» продовжують працювати — так само, як Cutie, ефективно і таємничо, слідуючи логіці, яку ми, можливо, ніколи повністю не зрозуміємо.
Якби Азімов писав сьогодні, йому не довелося б вигадувати Куті. Її «нащадки» вже серед нас і щодня приймають рішення, які змінюють життя людей.
У багатьох американських юрисдикціях судді використовують алгоритми оцінки ризику, щоб визначити, чи слід звільнити підсудного до судового розгляду. Ці системи, які часто є власницькими і захищені комерційною таємницею, аналізують сотні змінних, щоб передбачити ймовірність втечі або рецидиву. Так само, як і Cutie, вони працюють бездоганно за своєю внутрішньою логікою, але залишаються недоступними для людського розуміння.
Дослідження понад 750 000 рішень про заставу в Нью-Йорку показало, що, хоча алгоритм не включав расу як фактор, він все одно демонстрував упередження через дані, які використовувалися для навчання.¹ Система «вважала» себе об'єктивною, але інтерпретувала реальність через невидимі фільтри — точно так, як робот Азімова переосмислював кожну доказову інформацію в рамках своєї релігійної системи.
У галузі охорони здоров'я штучний інтелект вже використовується для діагностики та лікування, але це порушує важливі питання щодо відповідальності та інформованої згоди. Коли система діагностики на основі штучного інтелекту припускається помилки, хто несе за це відповідальність? Лікар, який дотримався рекомендації? Програміст? Лікарня?
Як виявили лікарі, які використовують системи підтримки прийняття рішень, коли система є «в основному точною», оператори можуть стати самовпевненими, втрачаючи навички або приймаючи результати без сумнівів щодо їхніх обмежень.² Пауелл і Донован чудово розуміли б цю дилему.
Автомобільна галузь є, мабуть, найяскравішим прикладом цього явища. Tesla робить ставку на роботаксі на основі штучного інтелекту «чорного ящика», покладаючись на системи, які навіть їхні творці не розуміють до кінця.³ Подібно до Cutie, яка підтримувала роботу космічної станції, дотримуючись таємничих принципів, ці автомобілі незабаром зможуть безпечно перевозити нас, не даючи нам точно знати, як саме вони приймають рішення.
Якщо 2024 рік став роком дозрівання штучного інтелекту, то 2025 рік обіцяє стати роком радикальних перетворень. Експерти прогнозують зміни, які своєю сміливістю змусили б посміхнутися навіть Азімова.
Рей Курцвейл, футуролог у галузі штучного інтелекту, прогнозує, що до 2025 року ми станемо свідками переходу від чат-ботів до «агентних» систем, які зможуть самостійно виконувати складні завдання, а не лише відповідати на запитання.⁴ Уявіть собі Cutie, помножену на тисячу: агенти штучного інтелекту, які ведуть календарі, пишуть програмне забезпечення, укладають контракти, і все це за внутрішньою логікою, яку ми, можливо, ніколи не зрозуміємо.
McKinsey оцінює, що до 2030 року штучний інтелект зможе автоматизувати до трьох годин наших щоденних завдань, звільнивши час для більш творчих і значущих занять.⁵ Але ця свобода матиме свою ціну: необхідність довіряти системам, які працюють за все більш непрозорими принципами.
Сем Альтман з OpenAI не єдиний, хто вірить, що загальна штучна інтелігенція (AGI) — штучний інтелект, який дорівнює людському інтелекту у всіх сферах — може з'явитися до 2027 року. Деякі сценарії передбачають, що до 2027 року ШІ може «затьмарити всіх людей у всіх завданнях», що стане безпрецедентним еволюційним стрибком.⁶
Якщо ці сценарії реалізуються, паралель з Cutie стане ще глибшою: ми не тільки матимемо системи, що функціонують за незрозумілою логікою, але й ці системи можуть бути розумнішими за нас у кожному вимірюваному аспекті.
Європейський Союз схвалив Закон про штучний інтелект, який набуде чинності в найближчі роки, підкресливши важливість відповідального впровадження штучного інтелекту. У США Міністерство юстиції оновило свої рекомендації щодо оцінки ризиків, пов'язаних з новими технологіями, включаючи штучний інтелект.⁷
Але тут виникає парадокс, який Азімов вже передбачив: як регулювати те, чого не розумієш повністю? Три закони робототехніки працювали для Cutie не тому, що вона їх розуміла, а тому, що вони були вбудовані в її фундаментальну архітектуру.
PwC прогнозує, що до 2025 року невелика група лідерів галузі почне випереджати конкурентів завдяки штучному інтелекту, створюючи все більший розрив між лідерами та аутсайдерами. Цей розрив пошириться і на економіки: компанії у США, де регуляторне середовище є відносно гнучким, можуть випередити компанії в ЄС та Китаї, де діють більш жорсткі правила.⁸
Це сучасна версія парадоксу Куті: той, хто найкраще навчиться співпрацювати з інтелектом, якого не розуміє, отримає вирішальну конкурентну перевагу.
Всупереч поширеним побоюванням, Світовий економічний форум прогнозує, що штучний інтелект створить більше робочих місць, ніж знищить: 170 мільйонів нових робочих місць до 2030 року проти 92 мільйонів ліквідованих. Однак 59% робочої сили потребуватиме перепідготовки та навчання до 2030 року.⁹
Пауелл і Донован не втратили роботу, коли Cutie взяв під свій контроль станцію. Їм довелося навчитися новій ролі: наглядачів за системою, яка працювала краще за них, але все ще потребувала їхньої присутності для вирішення непередбачених ситуацій.
У міру того, як ми наближаємося до все більш «агентного» майбутнього, уроки з оповідання Азімова стають актуальнішими, ніж будь-коли. Питання не в тому, чи зможемо ми створити ШІ, який ми повністю розуміємо — швидше за все, ні. Питання в тому, чи зможемо ми розробити системи, які, як Cutie, будуть досягати наших цілей, навіть якщо вони керуються логікою, яка нам не зрозуміла.
Пророчий геній Азімова полягає в тому, що він зрозумів, що розвинена штучна інтелігенція не буде просто вдосконаленою версією наших комп'ютерів, а буде чимось якісно іншим: інтелектом, що має власні способи розуміння світу.
Сьогодні, коли ми дискутуємо про інтерпретованість ШІ та ризики чорних скриньок, ми по суті переживаємо розмову між Пауелом, Донованом і Куті. І, можливо, як і вони, ми виявимо, що рішення полягає не в нав'язуванні нашої логіки, а в прийнятті співпраці, заснованої на спільних результатах, а не на взаємному розумінні.
Майбутнє, яке нас чекає, може бути населене тисячами цифрових «Cutie»: розумних, ефективних і в основному чужих у своєму мисленні. Викликом буде знайти способи процвітати в цьому новому світі, так само як космічні інженери Азімова навчилися робити це 80 років тому на уявній космічній станції.
Наступного разу, коли ви будете взаємодіяти з ШІ, згадайте про Cutie: він теж був переконаний, що має рацію. І, можливо, у якийсь спосіб, який ми ще не можемо зрозуміти, він дійсно мав рацію.
.svg)
.svg)
.svg)
