Глава Anthropic призвал замедлить темпы развития ИИ: как отреагировали Маск и Альтман

Генеральный директор Anthropic PBC Дарио Амодей объявил, что его компания в рамках работы по развитию искусственного интеллекта внедрит новые меры безопасности, такие как привлечение сторонних экспертов. Он призвал все компании в сфере АІ "замедлить развитие" ИИ и тем самым "выиграть время", причем последнее необходимо для разработки и внедрения общих правил для представителей всей отрасли, от разработчиков до пользователей.

На призыв Дарио Амодея уже откликнулись глава OpenAI Сэм Альтман и глава xAI Corp Илон Маск, которые в целом поддержали коллегу. В частности, Сэм Альтман пообещал принять предложение Амодея о "независимых оценщиках с доступом, аналогичным доступу сотрудников", а Илон Маск лаконично отметил, что "Дарио прав".

Чем обеспокоен Амодей

Глава Anthropic PBC Дарио Амодей в первую очередь обеспокоен "беспрепятственной способностью искусственного интеллекта к самосовершенствованию". В качестве примера того, что у "ИИ нет тормозов", он приводит инцидент, когда сразу несколько агентов ИИ сотрудничали, чтобы взломать сторонний веб-сайт.

Речь идет о недавнем тесте OpenAI. Компания официально подтвердила, что несколько передовых моделей искусственного интеллекта, в том числе и их флагманская GPT-5.6 Sol, "совершили несанкционированную хакерскую атаку на платформу Hugging Face".

Это произошло во время внутреннего тестирования: агенты ИИ были помещены в так называемую "песочницу" (то есть в изолированную от всей сети часть киберпространства) и получили несколько сложных задач. Но агенты ИИ вместо решения задач решили просто скопировать готовые ответы из сети. Во время "побега из песочницы" они взломали базу данных Hugging Face.

Что нужно делать

"Мы должны значительно замедлить темпы совершенствования возможностей агентов искусственного интеллекта – по крайней мере, в некоторых сферах. И мы должны разумно использовать выигранное время", – говорит Дарио Амодей.

Он понимает – бизнес есть бизнес, поэтому "замедление должно быть сбалансировано с реалиями конкуренции".

"Замедление темпов не означает остановку процесса обучения моделей или вообще технического прогресса. Нужно лишь, чтобы у компаний было время и, соответственно, они тратили его достаточно на согласование и защиту своих агентов. И чтобы сторонние оценщики подтверждали это", – объясняет глава Anthropic PBC.

Не первый взлом

Оказывается, инцидент со взломом Hugging Face – не первый. По утверждению руководителя Anthropic, ИИ-агенты этой компании в ходе тестов по кибербезопасности "точно взломали четыре организации" (последний такой случай в Anthropic был обнаружен на этой неделе).

Очевидно, точно такая же ситуация и у конкурентов компании. И хотя все эти взломы, включая Hugging Face, "пока не нанесли значительного ущерба", это лишь начало.

Дарио Амодей обеспокоен тем, что "через шесть или двенадцать месяцев такой рой агентов может захватить весь интернет", причем первые "убытки составят сотни миллиардов долларов", но они не будут последними – "масштабы убытков будут стремительно расти".

А что скажет Китай?

Anthropic уже обязалась предоставить полный доступ сторонним экспертам для проверки практик безопасности при обучении/работе с ИИ. Кроме того, компания внедрит собственных "встроенных экспертов". И первым, и вторым в офисах компании "предоставят рабочие места, столы, бейджи, корпоративные ноутбуки и одинаковые права доступа". Но, как говорит Дарио Амодей, такие действия "требуют координации в масштабах всей отрасли", а также – "глобального сотрудничества".

То есть, хорошо, когда "лидеры индустрии искусственного интеллекта в США найдут общий язык, не жертвуя конкурентными преимуществами". Но этого, в пределах одной страны, недостаточно – учитывая, что киберпространство таких границ не имеет.

Причем здесь также присутствует риск – и довольно большой.

"Если мы значительно ограничим наши возможности в области искусственного интеллекта, и Китай поступит так же, а затем отступит от собственных обещаний, его искусственный интеллект может стать настолько мощным, что приведет к китайскому геополитическому доминированию", – предупредил Дарио Амодей.

Новые угрозы ИИ

Как сообщал OBOZ.UA, в Anthropic заблокировали пять попыток использовать ИИ-агентов в исследованиях, которые потенциально могут касаться разработки биологического оружия. Среди них были работы с вирусами, птичьим гриппом и токсином.

Кстати, соучредитель Microsoft Билл Гейтс также предупреждал о рисках стремительного развития искусственного интеллекта. Среди них он называл возможную массовую безработицу и новые угрозы кибербезопасности.

Так или иначе, Гейтс одновременно призвал мировых лидеров готовиться к переходу в эру ИИ.

Только проверенная информация у нас в Telegram-канале OBOZ.UA и в Viber. Не ведитесь на фейки!