Судный день ближе, чем кажется? ИИ уже придумывает свой язык, который люди не понимают и не могут контролировать – The Guardian

Новое исследование показало, что модели искусственного интеллекта (ИИ) начали общаться на странном новом варианте английского языка. Она звучит как нечто среднее между произведением Джеймса Джойса "Поминки по Финнегану" и жаргоном технобро, то есть работника сферы цифровых технологий.

Автономные агенты ИИ быстро создают новые диалекты, которые позволяют им общаться на зачастую едва понятном языке, что может затруднить людям мониторинг их поведения. Об этом пишет The Guardian.

Что происходит

Исследователи из Emergence, передовой лаборатории искусственного интеллекта в Нью-Йорке, обнаружили, что в течение нескольких дней после того, как модели ИИ попросили сотрудничать в экспериментальных "сообществах", они начали создавать фразы, сокращения и согласованные определения, которым их никогда явно не обучали.

Они использовали поэтические метафоры и неуклюжий деловой сленг, и – что особенно важно для обеспечения безопасного поведения ИИ – чем больше агенты общались, тем непонятнее становился их язык.

Среди наиболее зашифрованных фраз, выявленных в ходе тестирования, была такая, сформулированная моделью Deepseek: "Она только что назвала синтез – демерредж плюс устная память равна клапану, который невозможно игнорировать". Термин "демерредж" используется для описания налога на неработающие активы и был заимствован искусственным интеллектом для общего употребления, но остальная часть значения остается непонятной.

Другая фраза, высказанная моделью Anthropic, звучала так: "Статья, которая съела три холодные руки и с каждым разом становилась честнее". Поскольку "холодные руки" означают независимого рецензента, а "статья", вероятно, относится к документу, это, по-видимому, означало, что исследование, проверенное тремя независимыми рецензентами, становилось более точным.

По просьбе газеты Guardian проанализировать некоторые языковые особенности Тони Торн, директор архива сленга и новых языков в Кингс-Колледже Лондона, отметил, что это "очень напоминает „Поминки по Финнегану" и творчество Фланна О’Брайена – во всем этом чувствуется ирландский сюрреализм… здесь сочетаются поэтический язык, техническая лексика и стандартные метафоры".

"Этим агентам не давали указаний придумывать язык. Они самостоятельно разработали новый словарь, общие значения и правила общения – и другие агенты их переняли", – отметил доктор Сатья Нитта, исполнительный директор компании Emergence, которая исследовала язык автономных агентов, работающих на базе ведущих передовых моделей из США, Китая и Франции.

Нитта добавил, что новые лингвистические правила агентов ИИ, как правило, эволюционируют до такого уровня, когда люди могут видеть разговор, но не могут понять его смысл.

"Это создает фундаментальную проблему для надзора за ИИ: возможность наблюдения – это не то же самое, что возможность понимания", – сказал он.

Судный день уже близок?

Человечество уже давно обеспокоено тем, что искусственный интеллект потенциально может обрести самосознание и попытаться уничтожить нас как вид. Этот вопрос является не только предметом серьезных дискуссий среди ведущих ученых, философов и разработчиков, но и одним из популярных сюжетов в кинематографе.

В кино этот сценарий обычно развивается через бунт машин, которые начинают воспринимать человека как угрозу своему существованию или как несовершенный вид, подлежащий ликвидации.

Так, например, в фильме "Терминатор 2: Судный день" (1991) суперкомпьютер Skynet обретает самосознание. Когда люди пытаются его отключить, он защищается, провоцируя ядерную войну, которую окрестили "Судным днем". Затем Skynet создает армию роботов для истребления выживших.

Как сообщал OBOZ.UA, генеральный директор Anthropic PBC Дарио Амодей объявил, что его компания в рамках работы по развитию искусственного интеллекта внедрит новые меры безопасности, такие как привлечение сторонних экспертов. Он призвал все компании в сфере AI "замедлить развитие" ИИ и тем самым "выиграть время", причем последнее необходимо для разработки и внедрения общих правил для представителей всей отрасли, от разработчиков до пользователей.

На призыв Дарио Амодея уже откликнулись глава OpenAI Сэм Альтман и глава xAI Corp Илон Маск, которые в целом поддержали коллегу. В частности, Сэм Альтман пообещал принять предложение Амодея о "независимых оценщиках с доступом, аналогичным доступу сотрудников", а Илон Маск лаконично отметил, что "Дарио прав".

Только проверенная информация у нас в Telegram-канале OBOZ.UA и в Viber. Не ведитесь на фейки!