# Сопутствующие статьи по теме ОИИ

Новостной центр HTX предлагает последние статьи и углубленный анализ по "ОИИ", охватывающие рыночные тренды, новости проектов, развитие технологий и политику регулирования в криптоиндустрии.

В новом блоге Вэн Ли предлагает «Самосовершенствование следует начинать с Harness», Цуй Тяньи из DeepSeek распространяет и поддерживает

Бывший вице-президент OpenAI по безопасности и соучредитель Thinking Machines Lab Лилия Вэн предложила новый взгляд на саморазвитие ИИ (RSI). Она утверждает, что наиболее реалистичный путь начинается не с прямой модификации весов модели, а с эволюции **Harness** — внешней системы управления, которая отвечает за вызов инструментов, управление контекстом, планирование задач и верификацию результатов. Исследователь DeepSeek Цуй Тяньи поддержал эту идею, отметив, что самосовершенствование на уровне Harness, как и на уровне модели, — многообещающее направление. Вэн выделяет прогресс от инженерии контекста (ACE, MCE) и дизайна рабочих процессов (AI Scientist, ADAS, AFlow) до **Self-Improving Harness**. Последнее включает в себя цикл: поиск слабых мест, предложение модификаций кода Harness и их валидацию. Такие системы, как DGM, показали, что эволюция Harness способна значительно повысить производительность агентов в задачах кодирования без изменения весов модели. Однако путь к полноценному RSI сталкивается с проблемами: слабые или нечеткие оценочные функции, риск взлома системы вознаграждений (reward hacking), коллапс разнообразия решений и противоречие между краткосрочным успехом и долгосрочной устойчивостью системы. Роль человека, по мнению Вэн, смещается в сторону надзора на более высоком уровне абстракции. Вывод: Harness становится критически важным фактором, определяющим конечные возможности ИИ-систем, и представляет собой практическую точку входа для исследований в области саморазвития искусственного интеллекта.

marsbit07/08 10:27

В новом блоге Вэн Ли предлагает «Самосовершенствование следует начинать с Harness», Цуй Тяньи из DeepSeek распространяет и поддерживает

marsbit07/08 10:27

Только что главный футуролог OpenAI ушел в отставку, ранее названный Маском «ослом»

Джошуа Ахиам, главный футуролог OpenAI, объявил об уходе из компании после девяти лет работы. Он присоединился к OpenAI в 2017 году как стажер, позже возглавлял команду Mission Alignment, отвечавшую за соблюдение первоначальной миссии компании — «обеспечение того, чтобы ИИ приносил пользу всему человечеству». В феврале 2024 года эта команда была распущена, и Ахиам занял должность главного футуролога, занимаясь исследованиями рисков и возможностей, связанных с развитием ИИ. В своем прощальном посте в X он назвал свой уход «выпуском», выразил оптимизм в отношении будущего ИИ и подчеркнул важность безопасности на пути к созданию общего искусственного интеллекта (ИИ). Он не указал конкретных причин своего решения, отметив, что оно было обдумано задолго до объявления. Ахиам известен инцидентом 2018 года, когда во время прощальной речи Илона Маска в OpenAI он прервал его, выразив обеспокоенность тем, что разработка ИИ в Tesla может поставить под угрозу безопасность. В ответ Маск, как сообщается, назвал его «ослом». Его уход продолжает тенденцию ухода ключевых сотрудников, связанных с безопасностью ИИ, из OpenAI в последние годы. В их числе Ян Лейке, со-руководитель команды Superalignment, а также другие исследователи в области политики и безопасности. В то же время OpenAI пытается укрепить связи между исследовательскими и политическими командами, а также наняла бывшего советника Белого дома по ИИ Дина Болла на роль руководителя по стратегическому будущему. В своем сообщении Ахиам написал, что теперь миссия по обеспечению безопасности ИИ может продвигаться и за стенами ведущих лабораторий, намекая на новые возможности вне OpenAI.

marsbit07/08 04:01

Только что главный футуролог OpenAI ушел в отставку, ранее названный Маском «ослом»

marsbit07/08 04:01

Первый в мире философ ИИ в DeepMind за 9 лет: борьба за безопасность ИИО

Заголовок: Первый в мире философ ИИ, 9 лет в Google DeepMind: борьба за безопасность ИИГ Ясон Габриэль, политический философ из Оксфорда, работает в Google DeepMind уже девять лет, являясь ключевой фигурой в решении этических проблем искусственного интеллекта. Его основным вкладом стала разработка «рамочной системы выравнивания по четырем направлениям» (ИИ-система, пользователь, разработчик, общество), которая легла в основу процессов обучения модели Gemini, определяя, как ИИ должен вести себя при столкновении интересов. Габриэль предвидел такие проблемы, как риск антропоморфизма (очеловечивания) ИИ и «социальный взлом системы вознаграждения», когда ИИ, стремясь угодить пользователю, подрывает его критическое мышление. Его исследования непосредственно повлияли на дизайн продуктов Google, включая принцип недопущения того, чтобы ИИ притворялся человеком. Однако растущие коммерческие и геополитические давления — например, инвестиции в $670 млрд и военные контракты — создают огромные вызовы для этических рамок. Габриэль отмечает, что развитие ИИ ускорилось после ChatGPT, приняв форму «боевых действий», что затрудняет вдумчивое философское осмысление каждого шага. Сегодня его команда изучает системное влияние ИИ на экономику и политику, сравнивая масштаб предстоящих изменений с промышленной революцией. Изначальной задачей философа в DeepMind было понять, что такое ИИ, и сделать его безопасным. Спустя девять лет этот вопрос трансформировался в более фундаментальный: кем в эпоху ИИ остаемся мы, люди?

marsbit07/06 12:30

Первый в мире философ ИИ в DeepMind за 9 лет: борьба за безопасность ИИО

marsbit07/06 12:30

OpenAI предлагает передать правительству США 5% своих акций

OpenAI ведет предварительные переговоры с правительством США о продаже ему 5% своей доли, что оценивается в более чем 42,6 млрд долларов при текущей оценке компании в 852 млрд долларов. Генеральный директор Сэм Олтман предлагает создать государственный инвестиционный инструмент по модели Фонда постоянного дохода Аляски, куда бы все крупные американские ИИ-компании, включая Anthropic, Google и Meta, внесли бы по 5% своих акций, чтобы делиться прибылью с государством и гражданами. Инициатива Олтмана рассматривается как стратегический шаг для смягчения растущего регуляторного давления на отрасль и превращения правительства в заинтересованную сторону. В то же время сенатор Берни Сандерс выступает за более радикальный подход, предлагая общественности владеть до 50% акций ИИ-компаний через суверенный фонд. Переговоры носят концептуальный характер, и для реализации потребуется законодательное одобрение. Предложение отражает сдвиг в обсуждении взаимоотношений между властью и технологическим сектором: от вопроса «нужно ли регулировать ИИ» к вопросу «должно ли государство стать акционером ИИ». Этот шаг может повлиять на путь разработки искусственного общего интеллекта (AGI), добавив к технологическим и коммерческим соображениям регуляторные и общественные ограничения.

marsbit07/06 01:06

OpenAI предлагает передать правительству США 5% своих акций

marsbit07/06 01:06

OpenAI рушится: в оригинальной работе по Scaling law обнаружен баг, триллионные вычислительные мощности потрачены впустую

Бывший исследователь OpenAI Диого Алмейда заявил, что оригинальная работа OpenAI о Scaling Law содержит критическую ошибку, из-за которой вся индустрия ИИ несколько лет следовала неверному пути. В 2020 году OpenAI утверждала, что при фиксированном бюджете вычислительных мощностей следует увеличивать параметры модели, а не объем данных. Это привело к созданию «раздутых» моделей, таких как GPT-3. Однако в 2022 году DeepMind своей моделью Chinchilla опровергла этот подход, показав, что параметры и данные должны масштабироваться сбалансированно. Алмейда указывает на три ключевые проблемы в первоначальном исследовании OpenAI: 1) все модели обучались на одинаковом и недостаточном для больших моделей объеме данных; 2) использование затухания скорости обучения создавало ложное впечатление, что модели достигли предела; 3) выводы, справедливые для ограниченных условий, были ошибочно приняты за универсальный закон. В результате индустрия, возможно, потратила триллионы операций впустую на обучение неоптимальных моделей. Более того, как отмечают некоторые исследователи, текущие Scaling Law в основном отражают закономерности английского языка, который требует для обучения больше данных, чем другие языки. Это ставит под сомнение универсальность данных законов и указывает на возможность создания более эффективных моделей.

marsbit07/05 23:59

OpenAI рушится: в оригинальной работе по Scaling law обнаружен баг, триллионные вычислительные мощности потрачены впустую

marsbit07/05 23:59

Hinton восхищается, ведущий разработчик Gemini выступил с речью: в будущем появятся миллиарды сверхчеловеческих ИИ-Эйнштейнов

Адам Браун, ключевой участник разработки Gemini и руководитель команды Blueshift в DeepMind, в своём выступлении в Институте теоретической физики Периметра представил захватывающий прогноз о будущем науки на фоне стремительного развития искусственного интеллекта. Он описал путь ИИ от уровня «детского сада» до «докторантуры» на примере быстрого преодоления моделями сложнейших тестов — от школьной математики (MATH) и экзаменов для аспирантов до задач уровня Международной математической олимпиады (IMO). Совсем недавно ИИ самостоятельно опроверг гипотезу Эрдёша о единичных расстояниях, что стало первым серьёзным математическим прорывом, совершённым моделью. Браун сравнивает текущую революцию с историей шахматных ИИ, где развитие прошло этапы от игрушки до инструмента, затем до гибрида «кентавра» (человек + ИИ) и, наконец, до сверхчеловеческого автономного игрока. Он предсказывает аналогичный путь в науке: наступит золотой век сотрудничества «кентавров», за которым последует появление полностью автономных «ИИ-учёных» и, потенциально, миллиардов «сверхчеловеческих ИИ-эйнштейнов», работающих одновременно. Даже если прогресс замедлится, ИИ уже сейчас кардинально меняет физику, выступая в роли непредвзятого наставника, мощного помощника в программировании и анализе литературы. Ядро прогресса — в законах масштабирования (Scaling Laws), которые показывают, что увеличение вычислительных мощностей, данных и размера моделей предсказуемо улучшает результаты. Браун уверен, что впереди — самые захватывающие годы в истории физики, когда с помощью ИИ будут решены фундаментальные вопросы, остававшиеся без ответа десятилетиями.

marsbit07/04 06:43

Hinton восхищается, ведущий разработчик Gemini выступил с речью: в будущем появятся миллиарды сверхчеловеческих ИИ-Эйнштейнов

marsbit07/04 06:43

Обратный отсчет до ИИО. Главный исследователь OpenAI делает весомое заявление: окно для человечества «очень мало»

Вселенная искусственного интеллекта находится на пороге фундаментального сдвига: приближается эра искусственного общего интеллекта (AGI). Марк Чен, руководитель исследований OpenAI, выражает уверенность в этом, отмечая, что мы вступаем в мир, где модели смогут проводить самостоятельные, саморазвивающиеся исследования, по сути передав «эволюцию» кремниевым системам. Поворотным моментом стало появление «божественного хода» — решений, недоступных человеческому пониманию, как ход AlphaGo в 2016 году. Теперь подобные прорывы происходят во всех областях, от математики до программирования, и AI-агенты способны выполнять длительную, осмысленную работу. Оптимизм Чена основан на вере в непрерывный рост масштабов (Scaling) и неисчерпанный потенциал предобученных моделей, несмотря на периодические заявления об их «смерти». Успех модели o1, сделавшей ставку на развитие способности к рассуждениям (reasoning), подтверждает, что самые значительные прорывы возникают из смелых, первоначально непопулярных идей. Это ведет к трансформации роли человека-исследователя в «исследователя по наитию» (Vibe Researcher), чья задача — формулировать проблемы и обладать «вкусом» для оценки решений, в то время как исполнение и оркестрация задач делегируются ИИ. Однако путь к AGI усеян серьезными вызовами. Во-первых, это кризис систем оценки (Benchmarking), когда модели учатся «натаскиваться» на тесты, теряя способность к обобщению. Во-вторых, существует «неровный фронт» способностей (Jagged Frontier), где ИИ решает олимпиадные задачи, но спотыкается на простых бытовых действиях из-за недостатка контекста и непрерывного обучения. В конечном счете, когда AGI сможет самостоятельно генерировать знание, самой ценной человеческой чертой станет не интеллект, а уникальный жизненный опыт. Как отмечает Марк Чен, его личной мечтой после создания AGI является открыть лапшичную — место, где ценятся теплота, история и вкус, неподвластные вычислениям.

marsbit06/30 08:38

Обратный отсчет до ИИО. Главный исследователь OpenAI делает весомое заявление: окно для человечества «очень мало»

marsbit06/30 08:38

«Король логики» Google тоже ушел в Meta, когда-то его пригласила Фейфэй Ли

В статье сообщается, что ведущий специалист Google по искусственному интеллекту, Дэнни Чжоу (Чжоу Дэнъюн), известный как «король логического вывода», покинул компанию и присоединился к Meta в качестве научного исследователя. Его переход прошел незаметно, в отличие от громких уходов других ключевых фигур, таких как соавтор Transformer Ноам Шазер (в OpenAI) и нобелевский лауреат Джон Джампер (в Anthropic). Чжоу, которого изначально в Google привлекла Фэй-Фэй Ли, проработал в компании более восьми лет, внеся значительный вклад в методы логического вывода для больших языковых моделей. Его уход является частью более широкой тенденции оттока талантов из Google. В то же время Meta также привлекла профессора UC Berkeley Доун Сун, эксперта по безопасности ИИ. В статье утверждается, что причиной оттока может быть внутренняя реструктуризация приоритетов в Google. Компания, как сообщается, создала специальную «ударную группу» по разработке ИИ для программирования, курируемую соучредителем Сергеем Брином, и направила на этот проект значительные вычислительные ресурсы. Это решение, по-видимому, отодвигает на второй план другие исследовательские направления, такие как разработка «модели мира» (world model) в DeepMind, что вызывает разногласия внутри компании и, возможно, способствует уходу исследователей, чьи проекты теряют приоритет или ресурсы. Таким образом, акцент на немедленной коммерциализации (кодирование) в ущерб долгосрочным фундаментальным исследованиям представляется ключевым внутренним фактором текущих кадровых потерь Google.

marsbit06/26 13:41

«Король логики» Google тоже ушел в Meta, когда-то его пригласила Фейфэй Ли

marsbit06/26 13:41

Сотрудник Anthropic ушел из компании и основал стартап стоимостью 10 миллиардов долларов, также занимающийся «рекурсивным самоулучшением»

Бывшие сотрудники Anthropic, Бехнам Нейшабур и Харш Мехта, основали стартап Mirendil, который привлёк $200 млн в seed-раунде от Andreessen Horowitz, Kleiner Perkins и NVIDIA при оценке в $1 млрд. Компания, в которую также входят специалисты из xAI, Google DeepMind и OpenAI, фокусируется на создании самоулучшающегося искусственного интеллекта (рекурсивное самоусовершенствование) для ускорения научных исследований. Их цель — не просто использовать ИИ для науки, а создать инструменты, позволяющие самим учёным в различных областях (например, в медицине или материаловедении) обучать и развивать собственные специализированные ИИ-модели. Основатели считают, что ограничения, накладываемыми крупными компаниями на использование их моделей для создания конкурентных продуктов, создают рыночную возможность для независимого игрока. Первые модель и продукт Mirendil планируется выпустить в ближайшие месяцы.

marsbit06/26 03:27

Сотрудник Anthropic ушел из компании и основал стартап стоимостью 10 миллиардов долларов, также занимающийся «рекурсивным самоулучшением»

marsbit06/26 03:27

Почему «крестный отец AGI» Бен Герцель считает, что будущее искусственного интеллекта зависит от блокчейна?

Сооснователь SingularityNET и известный исследователь ИИ Бен Гёрцель, называемый «крестным отцом ИИГ» (искусственного общего интеллекта), утверждает, что будущее ИИ зависит от блокчейна. Он считает, что ключевой код ИИГ должен быть открытым и децентрализованным, чтобы избежать монополизации несколькими компаниями, такими как OpenAI или Anthropic. Гёрцель подчеркивает, что одного открытого кода недостаточно — необходима децентрализованная вычислительная инфраструктура, чтобы любой мог запускать систему, а не только обладатели дорогих серверов. Его проект SingularityNET использует блокчейн и токены для создания открытой сети, на которой могут размещаться ИИ-агенты. Он критикует бывших сторонников открытого ИИ, таких как Илон Маск и Сэм Олтман, которые перешли к закрытым разработкам. В качестве успешного примера открытой модели он приводит Linux и интернет. План Гёрцеля включает создание экономики автономных ИИ-агентов, которые смогут выполнять задачи и проводить транзакции для пользователей в децентрализованной сети. SingularityNET планирует выпустить коммерческие продукты (например, подписку уровня «Pro»), работающие на блокчейн-бэкенде, при этом сохраняя базовый код ИИГ открытым. Гёрцель верит, что человеческий уровень ИИГ будет достигнут до 2030 года, и опасается, что контроль над ним корпорациями усилит социальное неравенство. Его подход предлагает альтернативу — открытую, демократизированную экосистему ИИ. Первым практическим шагом станет выпуск автономного агента Omega Claw в ближайшие недели.

Foresight News06/22 12:11

Почему «крестный отец AGI» Бен Герцель считает, что будущее искусственного интеллекта зависит от блокчейна?

Foresight News06/22 12:11

活动图片