«Я считаю, что если мы не замедлим нынешние темпы прогресса, существует большая вероятность того, что мы все можем умереть в ближайшем будущем», — сказал он в интервью корреспонденту BBC Лауре Куэнсберг.
Работники ИИ «попали в ловушку гонки»
Отставка Коксона произошла на фоне роста опасений по поводу безопасности ИИ в отрасли. Его бывший начальник, руководитель Anthropic Дарио Амодей, утверждает, что развитие искусственного интеллекта должно замедлиться, заявив, что сама технология не подвергается сомнению, но ее риски «серьезны».
Руководитель OpenAI Сэм Альтман и Илон Маск также заявили, что согласны с предложением Amodei о замедлении и регулировании всей отрасли, а также о независимом мониторинге моделей ИИ по мере их разработки.
Коксон приветствовал замедление темпов роста, но заявил, что его необходимо скоординировать с Китаем, чтобы предотвратить международную гонку ИИ.
«Люди, которые работают в этих компаниях, совершенно серьезно требуют регулирования, потому что они оказываются в ловушке гонки. И они боятся результатов этой гонки», — сказал он.
Не пропустите: Дженсен Хуанг из Nvidia заявляет, что «AGI прибыл», когда OpenAI представляет GPT-6 Astra
Может ли ИИ захватить Интернет?
Коксон сказал, что один из самых сложных вопросов заключается в том, как на самом деле может выглядеть апокалипсис ИИ.
Amodei предупредил о возможном появлении роя ботов, действующих как суперкомпьютер и захвативших Интернет. Коксон сказал, что такой сценарий может стать реалистичным в течение шести месяцев-года.
Он сказал, что некоторые работники ИИ уже думают о возможных последствиях быстрого прогресса, причем некоторые «планируют, что делать со своей жизнью и думают о последствиях своей работы», в то время как другие «подумывают о покупке где-нибудь земли, потому что они так боятся нестабильности в результате быстрого прогресса ИИ».
«Они все держат это в голове ежедневно, работая над технологией».
Коксон сказал, что некоторые из его коллег опасаются, что опасность может возникнуть в течение следующих двух лет. Тем не менее он сказал, что исследователи ИИ «искренне хотят увидеть положительные стороны» этой технологии, включая «решение болезней и улучшение жизни каждого».
Anthropic защищает работу по обеспечению безопасности ИИ
Anthropic заявила, что всегда открыто говорила о преимуществах и рисках ИИ.
«Мы всегда открыто заявляли, что ИИ принесет как огромные выгоды, так и беспрецедентные риски.
«Чтобы устранить эти риски, мы продолжаем создавать модели с одними из самых надежных мер защиты в отрасли».
Компания заявила, что «агрессивно» тестирует свои модели и публикует результаты, чтобы помочь в проверке и предотвратить случаи «несогласованности ИИ». В нем также говорится, что отрасль выиграет от «законного и поддающегося проверке способа» совместной работы над темпами выпуска мощных моделей.
Кремниевая долина наносит ответный удар
Предупреждения Коксона также подверглись критике.
Генеральный директор Hugging Face Клеман Деланг написал на X: «Извините, но спрашивать Джейкоба о риске вымирания ИИ — это все равно, что спрашивать вашего специалиста по кондиционерам об изменении климата». Позже он предложил помочь с решениями, предложенными Амодеем.
Глава Nvidia Дженсен Хуанг также отверг подобные предупреждения. Несколько человек на конференции Goldman Sachs рассказали Би-би-си, что Хуан отверг комментарии Коксона как ложные. Ранее Хуан назвал идею о том, что ИИ «станет концом человечества», «полной чепухой».
Однако ученый-антрополог Эван Хубингер согласился с Коксоном.
«Мы действительно искренне верим, что ИИ может убить всех людей! Лично я думаю, что в течение следующего десятилетия этот показатель составит >10%», — сказал Хубингер.
Дебаты возникают по мере того, как модели ИИ становятся более функциональными. В апреле Anthropic заявила, что отказывается от своей модели Mythos, поскольку она может самостоятельно выйти из среды тестирования, известной как «песочница». OpenAI также заявила, что некоторые аспекты разработки ее модели Astra были приостановлены из-за проблем с кибербезопасностью.
