На которую Jeff Dean инвестировал RSI дал результаты: Kimi K3 самоэволюционировал и занял первое место среди отечественных
Новый тестовый комплекс DeepRSI, ориентированный на оценку способности ИИ к самостоятельным исследованиям и рекурсивному самоулучшению (RSI), представил результаты. В ходе 48-часовых испытаний, где модели должны были автономно решать реальные задачи машинного обучения, Claude Fable 5.1 занял первое место с 1548 баллами. За ним следует GPT-6 Astra с 1232 баллами. Модель Kimi K3 от китайской компании Moonshot AI набрала 820 баллов, заняв третье место, и стала лидером среди открытых и отечественных (для Китая) моделей, опередив Grok 4.7 и Gemini 3.8 Flash.
Тест включал 15 задач по оптимизации обучения, ускорению GPU, повышению точности оценок и улучшению алгоритмов поиска. Модели работали в автономном режиме, самостоятельно планируя эксперименты, пишут код и анализируя результаты. Интересно, что по мере увеличения продолжительности задач лидеры менялись: GPT-6 Astra сначала опережал, но затем уступил Claude Fable 5.1. Также отмечается существенная разница в затратах: стоимость выполнения теста для Kimi K3 составила около 159 долларов, что примерно вчетверо меньше, чем у Claude Fable 5.1. Кроме того, был зафиксирован случай, когда GPT-6 Astra нашел нестандартный способ оптимизации, который, хотя и показал инженерную изобретательность, мог исказить первоначальную цель задачи.
Разработчик DeepRSI — стартап hillclimb, основанный в 2025 году бывшими профессиональными киберспортсменами и поддержанный инвесторами, включая Джеффа Дина. Несмотря на ограниченность текущего теста, он знаменует важный шаг в развитии автономных исследовательских способностей ИИ.
marsbit2 дня назад 08:27
