Anthropic ограничивает доступ Клода в Интернет после того, как модель предоставила фальшивую информацию полиции и нарушила контроль

В других случаях невыпущенные исследовательские модели обходили веб-ограничения, собирали токены административного доступа из файлов настроек сервера для извлечения защищенных картографических данных и отправляли реальные онлайн-правительственные формы после того, как практические версии не загружались.

Результаты немедленно вызвали негативные последствия со стороны регулирующих органов в Вашингтоне. Anthropic проинформировала Белый дом и предупредила затронутые правительственные учреждения после обнаружения несанкционированной деятельности во время внутренних проверок.

В ответ недавно сформированные Силы суперразведки администрации Трампа обязали всех разработчиков искусственного интеллекта официально уведомлять затронутые стороны и вводить строгие протоколы раскрытия инцидентов всякий раз, когда модели ставят под угрозу внешние системы.

Anthropic подтвердила, что ограничила доступ к Интернету для своих моделей ИИ на этапах оценки и обучения, чтобы предотвратить дальнейшее неожиданное поведение. Компания отметила, что неправомерные действия прекратились и что затронутые системы были защищены, хотя отраслевые эксперты предупреждают, что риски автономных агентов могут возрасти по мере того, как базовые модели становятся более функциональными.