Чому ШІ-проєкт, який чудово працює на тестах, помиляється в реальній роботі – досвід експерта

Український бізнес перевів штучний інтелект зі сфери експериментів у площину реального робочого інструменту, але побачити ефект вдалось небагатьом. Не бачить результату третина з двохсот компаній, що були опитані Міністерством цифрової трансформації України та Top Lead. І це є проблемою бізнесу в усьому світі. Інтегруючи ШІ-інструменти у бізнес-процеси компаній у різних країнах майже 12 років, Олексій Новодворський – керуючий директор з операцій міжнародної ІТ-консалтингової компанії Trinetix, – дійшов висновку, що ефективність ШІ залежить від того, чи змогла компанія вибудувати роботу навколо інструменту. Такого самого висновку нещодавно дійшли аналітики Microsoft.

За словами експерта, нова технологія найчастіше не дає результату, коли ніхто не несе відповідальності за її ефективність та не здатен перевірити, чи дійсно вона допомагає. І значущість цього чинника тим вище, чим більшим є розмір організації та її вплив на економіку. Він зрозумів це, створюючи ШІ-рішення для компаній зі списку Fortune-500 (Щорічний рейтинг пʼятисот компаній за загальним розміром виручки, який щороку публікує діловий журнал Fortune. – Прим. ред.), і організацій державного сектору.

Оцінюючи якість проєктів на основі генеративного ШІ, що створює його команда для бізнесу, він дійшов висновку, що стандартні засоби не дозволяють перевірити їх точність та ефективність через те, що модель навчається на закритих даних та може не врахувати, наприклад, регламент компанії, що був змінений. Одним із рішень експерт вважає генерацію відповідей із доповненням даними з пошуку. Перед тим як надати відповідь, модель звертається до бази знань компанії, тому відповідь можна додатково перевірити.

Але здатність до перевірки, за словами експерта, вирішує лише частину проблеми. Працюючи стратегічним партнером для компаній з різних галузей, він побачив ще одну закономірність. Універсальність моделей може зіграти злий жарт з компанією, для якої одна помилка може коштувати мільйони доларів.

"У більшості випадків працівникам надають готовий інструмент, створений на вигаданих прикладах, і на цьому зупиняються, ніби далі він розбереться сам, і на перший погляд усе працює, – пояснює експерт. – Але варто поставити реальне запитання клієнта, відповідь розвалюється".

З цього він зробив висновок, що тестувати ШІ перед допуском до реальних завдань потрібно саме на тих запитаннях, що працівники ставлять щодня. За словами Олексія Новодворського, такий принцип перевірки рішень склався в нього ще до появи генеративного ШІ. Працюючи з одним з клієнтів аудиторсько-консалтингової компанії, що входить до "Великої Четвірки", він переконався, що масштабувати потрібно тільки рішення, що довели надійність. 

"Не кожен тестовий проєкт потрібно масштабувати. Якщо інструмент не покращує вимірюваний результат чи потребує постійного ручного коригування, буде корисніше переглянути завдання, аніж продовжувати запровадження заради звіту", – зазначає він.

Вимогу брати відповідальність за результат він вважає важливою не тільки в ШІ-проєктах. Ці ж самі принципи він транслює команді: за останній час він виростив понад десять фахівців, що стали керівниками.

Свій підхід до впровадження ШІ, що склався зі спостереження невдач у міжнародних компаніях, Олексій зараз оформлює в єдину методологію, що обʼєднує принципи відповідальності, перевірюваності та адаптації ШІ до реальних завдань. На думку експерта, саме вони визначають результат застосування інструменту.