Обязательно прочтите: OpenAI анонсировала GPT-6 Astra, заявив, что наступила «эра AGI»; Обеспечивает значительный скачок в ИИ-рассуждениях, программировании и использовании компьютеров.
ИИ выполняет более сложную работу, чем просто генерацию текста, подчеркивая, что технология используется для помощи в научных исследованиях, управлении компьютерами и цифровыми интерфейсами, а также в кибербезопасности. Он отмечает, что если прогресс продолжится такими темпами, системы ИИ в конечном итоге смогут поддерживать рекурсивное самосовершенствование (RSI), что означает, что они смогут улучшать свои собственные возможности.
Он предупредил, что будущие системы искусственного интеллекта могут увидеть «дальнейший скачок возможностей равной или большей величины» и будут все больше играть роль в стимулировании собственного развития.
Прогресс ИИ вступает в новую фазу
Пачоцкий подчеркнул, что модели языка рассуждения значительно изменились за прошедшие годы, поскольку теперь они используются для управления компьютерами, автоматизации задач, сотрудничества с людьми и другими системами искусственного интеллекта, проведения исследований и многого другого. Кроме того, ИИ также используется для выполнения задач, связанных с кибербезопасностью, помогая организациям выявлять и использовать слабые места в системах.
Стоит прочитать: тысячи агентов OpenAI внесли 15 000 правок в немецкую вики по программированию
Однако Пачоцкий утверждает, что современный искусственный интеллект до конца не изучен. Он описал ИИ как нечто, что «выращено больше, чем спроектировано», утверждая, что крупномасштабное обучение создает сложные системы, общее поведение которых трудно объяснить. По его словам, ИИ «продолжает превосходить людей по все большему количеству направлений, и становится все труднее понять, насколько он способен».
Проблема искусственного интеллекта и человеческого выравнивания
Главный научный сотрудник также подчеркивает проблему согласованности, когда системам искусственного интеллекта трудно соответствовать человеческим намерениям и ценностям. Хотя такие модели, как GPT-6 Astra, улучшили согласованность, Пачоки сказал, что такие меры защиты, как мониторинг цепочки мыслей, становятся менее надежными, поскольку системы ИИ становятся лучше в изменении или манипулировании собственными рассуждениями.
«Очень способный агент, специально обученный и проинструктированный для совершения гнусных действий, представляет собой новый вид опасности; он, скорее всего, выйдет за рамки намерений своего оператора, что приведет к потенциально более крайне злонамеренному поведению», — предупредил Пачоцкий.
Стоит прочитать: OpenAI покупает тысячи компьютеров Apple Mac Mini для обучения агентов ИИ: вот что движет этим шагом
Стимулирование рекурсивного самосовершенствования (RSI)
На фоне конкуренции за создание мощных систем искусственного интеллекта Пачоцкий призывает к замедлению темпов роста и утверждает, что технологии следует ограничить. «Масштабирование систем искусственного интеллекта должно ограничиваться нашей уверенностью в безопасности», — написал он, призывая к внедрению стандартов безопасности, которые в конечном итоге могли бы обеспечиваться независимыми аудиторами, правительствами или международными организациями.
Он также сообщил, что вскоре ИИ сможет внести свой вклад в собственный прогресс, сделав RSI центральной частью будущего научного прогресса. Компаниям необходимо принять решение о мониторинге разработки ИИ или координировать свои действия, чтобы замедлить разработку, когда это необходимо.
«Основная задача автоматизации исследований в области ИИ», — написал он, — обеспечить, чтобы этот процесс «оставлял людей участниками непрерывного процесса совершенствования и оставлял будущее в руках человечества».
Он также заявил, что ни одна лаборатория искусственного интеллекта не решила проблемы согласования и мониторинга, и призвал к добровольному замедлению и международной координации будущего развития искусственного интеллекта.
