Те, що сьогодні є найсучаснішим підходом, завтра може швидко стати застарілою системою. Організації, що інвестують у SaaS-рішення на основі штучного інтелекту, стикаються з важливим питанням: як зробити так, щоб системи, впроваджені сьогодні, не стали технічним боргом завтрашнього дня?

‍

Відповідь полягає не у виборі найсучаснішої технології, а у виборі платформ, побудованих на гнучких і адаптивних архітектурах, здатних розвиватися разом з новими можливостями ШІ. У цій статті проаналізовано різні реалізації модульних архітектур у галузі штучного інтелекту, з акцентом на генерації, доповненій пошуком (Retrieval-Augmented Generation, RAG), і порівняно різні архітектурні підходи.

‍

Прихований ризик жорсткого впровадження ШІ

Багато організацій обирають рішення для штучного інтелекту, виходячи насамперед з поточних можливостей, зосереджуючись на безпосередній функціональності та нехтуючи базовою архітектурою, яка визначає довгострокову адаптивність. Такий підхід створює кілька суттєвих ризиків:

Технологічне старіння

Темпи інновацій у сфері штучного інтелекту продовжують прискорюватися, а фундаментальні досягнення з'являються в дедалі коротші терміни. Жорсткі системи, побудовані на конкретних підходах до ШІ, часто намагаються врахувати ці досягнення, що призводить до прогалин у можливостях щодо нових рішень.

Модифікація бізнес-вимог

Навіть якщо технологія залишиться статичною (а вона не залишиться), бізнес-вимоги розвиватимуться. Організації часто виявляють цінні варіанти використання штучного інтелекту, які не були передбачені під час початкового впровадження. Негнучкі платформи часто намагаються вийти за межі своїх початкових проектних параметрів.

Еволюція інтеграційної екосистеми

Додатки, джерела даних і системи, що оточують рішення зі штучного інтелекту, з часом змінюватимуться завдяки оновленням, замінам і новим доповненням. Жорсткі платформи ШІ часто стають вузькими місцями в інтеграції, вимагаючи дорогих обхідних шляхів або обмежуючи цінність інших технологічних інвестицій.

Регуляторні та комплаєнс-зміни

Вимоги до управління ШІ продовжують розвиватися в усьому світі, з'являються нові правила, які встановлюють вимоги до пояснюваності, оцінки справедливості та документації. Системам без архітектурної гнучкості часто важко адаптуватися до цих мінливих нормативних вимог.

‍

Парадигма RAG: приклад модульної архітектури

Генерація з доповненим пошуком (Retrieval-Augmented Generation, RAG) є чудовим прикладом модульної архітектури, яка революціонізує спосіб проектування та впровадження систем штучного інтелекту. AWS визначає його як "процес оптимізації виведення великої мовної моделі (LLM), яка посилається на авторитетну базу знань, зовнішню по відношенню до джерел навчальних даних, перед тим, як генерувати відповідь".

Реалізація AWS RAG

AWS розробила хмарну архітектуру RAG, яка ілюструє принципи модульності та гнучкості. Як зазначають Юньцзе Чен та Генрі Цзя в блозі AWS Public Sector, ця архітектура складається з чотирьох окремих модулів:

‍

1. Модуль інтерфейсу користувача: Взаємодіє з кінцевими користувачами через API-шлюз Amazon
2. Модуль оркестрування: взаємодіє з різними ресурсами, щоб забезпечити безперебійний процес збору даних, підказок і генерації відповідей
3. Модуль вбудовування: надає доступ до різних моделей фундаментів
4. Модуль зберігання векторів: Керує зберіганням вбудованих даних та виконанням векторного пошуку

Потік обробки йде двома основними шляхами:

Для завантаження даних:

1. Документи, що зберігаються у відрах Amazon S3, обробляються за допомогою функцій AWS Lambda для розділення та розділення на частини
2. Текстові сегменти надсилаються до шаблону вбудовування для перетворення у вектори
3. Вбудовування зберігаються та індексуються у вибраній векторній базі даних

Для генерації відповідей:

1. Користувач надсилає запит
2. Підказка доставляється до шаблону вбудовування
3. Модель перетворює підказку на вектор для семантичного пошуку в архівних документах
4. Найбільш релевантні результати повертаються до LLM
5. LLM генерує відповідь, враховуючи найбільш схожі результати та початкові підказки
6. Згенерована відповідь доставляється користувачеві

Переваги архітектури AWS RAG

AWS виділяє кілька ключових переваг цієї модульної архітектури:

• Модульність і масштабованість: "Модульний характер архітектури RAG та використання інфраструктури як коду (IaC) дозволяють легко додавати або видаляти сервіси AWS за потреби. Завдяки керованим сервісам AWS ця архітектура допомагає автоматично та ефективно управляти зростаючим трафіком і запитами на дані без попереднього резервування".
• Гнучкість та маневреність: "Модульна архітектура RAG дозволяє швидше та легше впроваджувати нові технології та сервіси без необхідності повністю змінювати структуру хмарної архітектури. Це дозволяє нам бути більш гнучкими у реагуванні на мінливі потреби ринку та клієнтів".
• Адаптація до майбутніх тенденцій: "Модульна архітектура розділяє оркестровку, генеративні моделі ШІ та векторні сховища. Кожен з цих трьох модулів окремо є сферою активних досліджень і постійного вдосконалення".

Векторна технологія: серце архітектури RAG

Важливим елементом архітектури RAG є векторна база даних. AWS зазначає, що "оскільки всі дані (включаючи текст, аудіо, зображення або відео) повинні бути перетворені у вектори для вбудовування, щоб генеративні моделі могли взаємодіяти з ними, векторні бази даних відіграють важливу роль у генеративних рішеннях на основі ШІ".

AWS підтримує цю гнучкість, пропонуючи кілька варіантів векторних баз даних:

• Традиційні бази даних, такі як OpenSearch і PostgreSQL з додатковою векторною функціональністю
• Спеціальні векторні бази даних з відкритим кодом, такі як ChromaDB та Milvus
• Нативні рішення AWS, такі як Amazon Kendra

Вибір між цими варіантами "може ґрунтуватися на відповідях на такі питання, як часто додаються нові дані, скільки запитів надсилається за хвилину, і чи є надіслані запити в значній мірі схожими".

‍

Архітектури ШІ, інтегровані з моделями: нейронний підхід

У той час як архітектура AWS RAG реалізована як розподілена система на декількох хмарних сервісах, інші системи ШІ використовують більш інтегрований підхід, де принципи модульності існують в рамках єдиної нейронної архітектури.

Кейс просунутих помічників внутрішнього аудиту

Просунуті асистенти зі штучним інтелектом, такі як ті, що базуються на останніх моделях LLM, використовують подібні до RAG принципи, але з деякими суттєвими архітектурними відмінностями:

1. Нейронна інтеграція: функціональні компоненти (розуміння запитів, пошук інформації, генерація відповідей) інтегровані в нейронну архітектуру, а не розподілені по окремих сервісах.
2. Концептуальна модульність: Модульність існує на концептуальному та функціональному рівні, але не обов'язково у вигляді фізично відокремлених та взаємозамінних компонентів.
3. Уніфікована оптимізація: весь технологічний конвеєр оптимізується на етапі навчання та розробки, а не налаштовується кінцевим користувачем.
4. Глибока інтеграція пошуку та генерації: система пошуку більш глибоко інтегрована в процес генерації з двостороннім зворотним зв'язком між компонентами, а не є жорстким послідовним процесом.

Незважаючи на ці відмінності в реалізації, ці системи поділяють фундаментальні принципи RAG: збагачення мовної моделі релевантною зовнішньою інформацією для підвищення точності та зменшення галюцинацій шляхом створення архітектури, яка розділяє (принаймні концептуально) різні етапи обробки.

‍

Принципи проектування гнучких архітектур внутрішнього аудиту

Незалежно від конкретного підходу, існують універсальні принципи проектування, які сприяють гнучкості архітектури ШІ:

Модульна конструкція

По-справжньому гнучкі платформи штучного інтелекту використовують модульні архітектури, в яких компоненти можуть бути модернізовані або замінені незалежно, не вимагаючи змін у всій системі. Як AWS, так і інтегровані системи штучного інтелекту дотримуються цього принципу, хоча і з різною реалізацією.

Модельно-прогностичний підхід

Гнучкі платформи підтримують поділ між бізнес-логікою та базовою реалізацією ШІ, дозволяючи змінювати базові компоненти ШІ в міру розвитку технології. Це особливо помітно в архітектурі AWS, де моделі можна легко замінити.

API-перший дизайн

Найбільш адаптивні системи штучного інтелекту надають пріоритет програмній доступності через комплексні API, а не зосереджуються виключно на заздалегідь визначених користувацьких інтерфейсах. В архітектурі AWS кожен компонент має чітко визначені інтерфейси, що полегшує інтеграцію та оновлення.

Інфраструктура безперервної дистрибуції

Гнучкі архітектури вимагають інфраструктури, розрахованої на часті оновлення без перерв у роботі. Цей принцип реалізований як у розподілених системах, таких як архітектура AWS, так і в інтегрованих моделях штучного інтелекту, хоча й за допомогою різних механізмів.

Фреймворк розширюваності

По-справжньому гнучкі платформи надають фреймворки для специфічних для клієнта розширень, не вимагаючи втручання постачальника. Це найбільш очевидно в розподілених системах, але вбудовані моделі штучного інтелекту також можуть пропонувати певні форми кастомізації.

Баланс адаптивності та стабільності

Наголошуючи на архітектурній гнучкості, важливо визнати, що бізнес-системи також потребують стабільності та надійності. Балансування цих, здавалося б, суперечливих вимог вимагає збалансованості:

Стабільні інтерфейсні контракти

Хоча внутрішні реалізації можуть часто змінюватися, вкрай важливо підтримувати суворі гарантії стабільності зовнішніх інтерфейсів за допомогою формальних політик версійності та підтримки.

Поступове вдосконалення

Нові функціональні можливості слід впроваджувати за допомогою адитивних змін, а не замін, коли це можливо, що дозволить організаціям впроваджувати інновації у власному темпі.

Контрольована частота оновлення

Модернізація повинна відбуватися за передбачуваним і контрольованим графіком, який забезпечує баланс між постійними інноваціями та операційною стабільністю.

Конвергенція майбутнього: на шляху до гібридних архітектур

Майбутнє архітектур ШІ, ймовірно, буде пов'язане з конвергенцією між розподіленим підходом, прикладом якого є AWS RAG, та інтегрованим підходом передових моделей ШІ. Значні тенденції вже з'являються:

Мультимодальна конвергенція

Штучний інтелект швидко переходить від одномодової обробки до уніфікованих моделей, які безперешкодно працюють в різних режимах (текст, зображення, аудіо, відео).

Поширення спеціалізованих моделей

У той час як загальні моделі продовжують розвиватися, також зростає розробка спеціалізованих моделей для конкретних сфер і завдань, що вимагає архітектури, яка може організувати та інтегрувати різні моделі.

Континуальна крайова хмара

Обробка даних за допомогою штучного інтелекту все більше поширюється на континуумі від хмари до периферії, з розподіленими моделями, де вимоги до продуктивності, вартості та даних можуть бути більш ефективно збалансовані.

Гармонізація нормативно-правової бази

Ми очікуємо, що в міру того, як глобальне регулювання ШІ буде розвиватися, вимоги до нього будуть більш гармонізованими в різних юрисдикціях, що, можливо, супроводжуватиметься створенням систем сертифікації.

‍

Висновок: Імператив майбутнього

У сфері штучного інтелекту, що стрімко розвивається, найважливішою характеристикою платформи є не її поточні можливості, а здатність адаптуватися до майбутніх досягнень. Організації, які обирають рішення, що ґрунтуються насамперед на сьогоднішніх можливостях, часто обмежують можливості завтрашнього дня.

‍

Надаючи пріоритет гнучкості архітектури завдяки таким принципам, як модульний дизайн, модельно-діагностичні підходи, мислення, орієнтоване на API, інфраструктура безперервного розгортання та надійна розширюваність, організації можуть створювати можливості ШІ, які розвиваються разом з технологічним прогресом та потребами бізнесу.

Як зазначає AWS, "темпи розвитку генеративного ШІ безпрецедентні", і тільки по-справжньому модульні та гнучкі архітектури можуть гарантувати, що сьогоднішні інвестиції продовжать генерувати цінність у завтрашньому технологічному ландшафті, що стрімко розвивається.

‍

Можливо, майбутнє належить не лише тим, хто може найкраще передбачити, що прийде, але й тим, хто будує системи, здатні адаптуватися до того, що з'являється.