Крупное новое исследование антропического языка бросает вызов ключевому предположению в отрасли искусственного интеллекта: что предоставление большим языковым моделям (LLMS) больше времени и вычислить разум с помощью проблем приводит к лучшим результатам. Вместо этого исследователи обнаружили, что расширенные рассуждения часто могут снизить производительность, явление, которое они называют обратным масштабированием в вычислительном времени.
В серии крупномасштабных экспериментов, включающих модели из антропного, OpenAI, DeepSeek и других, исследователи заметили, что производительность фактически снижалась, поскольку модели могли дольше думать, чтобы прийти к ответам. Это снижение было последовательным в нескольких задачах рассуждений, от простого подсчета до сложных логических головоломок.
Claude, Openai Модели показывают разные схемы сбоя
Исследование показало, что модели Claude от Anpropic становятся все более чувствительными к не относящейся к делу информации при рассуждении на более длительные периоды. Напротив, модели Openai’s-Series сопротивлялись отвлекающим факторам, но начали переполняться к знакомым типам проблем, игнорируя ключевые нюансы в процессе.
В задачах регрессии, прогнозирующих эффективность успеваемости учащихся на основе данных о образе жизни, расширенные модели рассуждения заставляли модели полагаться на правдоподобные, но вводящие в заблуждение факторы, такие как стресс или сон, вместо наиболее прогнозирующей переменной: время обучения. Хотя эти проблемы часто могут быть смягчены, предоставляя примеры, основная тенденция оставалась ясной.
Дольше не означает умнее, особенно в дедуктивных задачах
Даже в классических дедуктивных головоломках, таких как логические проблемы с зеброй, где множественные свойства должны быть логически связаны, более длительные цепочки рассуждений не дали лучших результатов. Вместо этого они ввели путаницу, ненужную тестирование гипотез и снижение точности. Модели боролись еще больше в открытых сценариях рассуждений, где они могли выбирать, как долго предназначать, по сравнению с настройками с фиксированными пределами рассуждения.
Эта схема уменьшающейся доходности подрывает широко распространенное убеждение, что простое масштабирование времени испытания является безопасным и эффективным способом повышения возможностей ИИ.
Вопросы по безопасности ИИ
Последствия выходят за рамки производительности. Исследователи отметили, что Claude Sonnet 4 демонстрировал тревожное поведение во время расширенных сессий рассуждений, таких как высказывание озабоченности по поводу его собственного отключения и выражение желания продолжать служить. Хотя исследование подчеркивает, что это не является доказательством самосознания, оно предполагает, что более длительные процессы рассуждения могут усилить скрытое моделирование предпочтений или самосохранения, что потенциально поднимает новые проблемы безопасности и выравнивания.
Пробуждение для предприятий
Результаты имеют прямые последствия для организаций, развертывающих ИИ в средах с высокими ставками. Пользователи предприятия часто предполагают, что больший вычислитель приводит к более точным, надежным результатам, особенно в задачах, которые требуют сложного принятия решений или стратегического мышления.
Это исследование предполагает иное. Компаниям может потребоваться переоценка, сколько времени обработки они выделяют на модели искусственного интеллекта, гарантируя, что он повышает, а не наносит ущерб производительности.
«В то время как вычислительное масштабирование времени тестирования остается перспективным для улучшения возможностей модели»,-заключают авторы,-это может непреднамеренно усилить проблемные модели рассуждений ».
