Почему ИИ-проект, который отлично работает на тестах, ошибается в реальной работе – опыт эксперта

Украинский бизнес перевел искусственный интеллект из области экспериментов в реальный инструмент для работы, но увидеть эффект удалось немногим. Не видят результат треть из двухсот компаний, опрошенных Министерством цифровой трансформации Украины и Top Lead. И это проблема бизнеса во всем мире. Встраивая ИИ-инструменты в процессы бизнеса в разных странах почти 12 лет, Алексей Новодворский – управляющий директор по операциям международной ИТ-консалтинговой компании Trinetix Inc., – пришел к выводу, что эффективность ИИ зависит от того, смогла ли компания выстроить работу вокруг инструмента. К такому же выводу недавно пришли аналитики Microsoft. 

По словам эксперта, новая технология чаще всего не дает результат, когда никто не отвечает за ее эффективность и не может проверить, действительно ли она помогает.И значимость фактора тем выше, чем больше организация и ее влияние на экономику. Он понял это, создавая ИИ-решения для процессов компаний из Fortune 500 (Ежегодный рейтинг пятисот компаний по общему размеру выручки, составляемый делов журналом Fortune. – Прим. ред.), и организаций государственного сектора. 

Оценивая качество проектов на основе генеративного ИИ, которые создает его команда для бизнеса, он пришел к выводу, что стандартные способы не позволяют проверить их точность и эффективность из-за того, что модель обучается на закрытых данных и может не учесть, например, изменившийся регламент компании. Одним из решений эксперт считает подход – генерации с дополнением данных из поиска. Перед ответом модель обращается к базе знаний компании, поэтому ответ можно перепроверить.  

Но проверяемость ответа, по словам эксперта, решает лишь часть проблемы. Работая  стратегическим партнером для компаний из разных отраслей, он увидел еще одну закономерность. Универсальность моделей может сыграть злую шутку с компанией, для которой одна ошибка может стоить миллионы долларов.

"В большинстве случаев сотрудникам дают готовый инструмент, созданный на вымышленных примерах, и на этом останавливаются, будто дальше он разберётся сам, и на первый взгляд всё работает, – объясняет эксперт. – Но стоит дать реальный вопрос клиента, ответ разваливается".

Из этого он заключил, что тестировать ИИ перед допуском к реальным задачам, нужно именно на тех вопросах, которые сотрудники задают каждый день. По словам Алексея Новодворского, такой принцип проверки решения сложился у него до появления генеративного ИИ. Работая с одним из клиентов аудиторско-консалтинговых компаний, входящей в "Большую четвёрку", он убедился, что масштабировать нужно только решения, показавшие надежность.

"Не каждый тестовый проект нужно масштабировать. Если инструмент не улучшает измеримый результат или требует постоянного ручного исправления, полезнее пересмотреть задачу, чем продолжать внедрение ради отчёта", – отмечает он.

Требование брать ответственность за результат он считает важным не только в ИИ-проектах. Эти же принципы он транслирует команде: за последнее время он вырастил не меньше десятка специалистов, ставших управленцами.

Свой подход к внедрению ИИ, сложившийся из наблюдения неудач в международных компаниях, Алексей Новодворский сейчас оформляет в единую методологию, которая объединяет принципы ответственности, проверяемости и адаптации ИИ к реальным задачам. По мнению эксперта, именно они определяют, насколько видим будет результат применения инструмента.