# Сопутствующие статьи по теме Открытый исходный код

Новостной центр HTX предлагает последние статьи и углубленный анализ по "Открытый исходный код", охватывающие рыночные тренды, новости проектов, развитие технологий и политику регулирования в криптоиндустрии.

Преобразуем Transformer, и большие языковые модели становятся умнее

В новой статье исследователей из Mila, Корнелльского и Монреальского университетов предлагается радикально простой способ улучшить большие языковые модели (LLM) без увеличения параметров или вычислительных затрат. Вместо равномерного распределения параметров по всем слоям модели, авторы предлагают использовать «конические языковые модели» (Tapered Language Models, TLM), где емкость (например, ширина прямого распространения) монотонно уменьшается от ранних слоев к более поздним. Эксперименты на моделях размером от 440M до 1.3B параметров показывают, что оптимальное распределение (уменьшение по косинусоидальной кривой) дает значительное улучшение. Например, для модели на 440M параметров perplexity снизился с 16.28 до 14.44, что соответствует улучшению на 1.84 пункта. Этот результат воспроизведен на четырех различных архитектурах, включая Transformer, модели с управляемым вниманием и архитектуры с долговременной памятью. Ключевое обоснование заключается в том, что ранние слои модели обрабатывают фундаментальную информацию (например, синтаксис) и нуждаются в большей емкости, в то время как более глубокие слои часто лишь повторяют или уточняют уже сформированные представления. Таким образом, перераспределение ресурсов в пользу начальных слоев повышает общую эффективность модели без дополнительных затрат. Исследователи отмечают, что этот принцип может быть применен не только к языковым моделям, но и к другим архитектурам, таким как Vision Transformer или диффузионные модели, где также исторически используется равномерное распределение параметров по слоям. Работа открывает новое, практически бесплатное направление для оптимизации современных нейронных сетей.

marsbit21 ч. назад

Преобразуем Transformer, и большие языковые модели становятся умнее

marsbit21 ч. назад

ТОП моделей Hugging Face, теперь я признаю только yuxinlu1

**Персональный разработчик взлетел на трендовые позиции Hugging Face, обойдя крупные компании** Личный аккаунт **yuxinlu1** (разработчик Лу Юйсинь) неожиданно занял высокие места в трендовом рейтинге моделей Hugging Face, расположившись среди таких гигантов, как Zhipu GLM-5.2, Baidu Unlimited-OCR, Qwen и NVIDIA. Его два GGUF-квантованных варианта модели на базе **Gemma4-12B** набрали **207 тыс.** и **536 тыс.** загрузок соответственно. **Суть моделей:** * **Версия 1 (Coder):** Сфокусирована на генерации и проверке исполняемого кода. Обучалась на "верифицируемых" данных, где каждая цепочка рассуждений подтверждалась прохождением тестов. Для обучения использовались данные Cursor Composer 2.5 и Fable 5. * **Версия 2 (Agentic):** Добавлена способность к многошаговому вызову инструментов (tool use), что позволяет использовать модель как локального агента. **Ключевые преимущества:** 1. **Локальный запуск:** Модели в формате GGUF можно запускать локально с помощью llama.cpp, Ollama и др., что обеспечивает **конфиденциальность** данных (код не уходит в облако) и **нулевую стоимость** API-вызовов. 2. **Низкий порог входа:** Минимальная версия (Q2_K) занимает около **4.5 ГБ** памяти, что делает её доступной для пользователей с потребительскими видеокартами или Mac с 8 ГБ унифицированной памяти. **История создателя:** Лу Юйсинь — аспирант, изучающий ИИ. Эти модели — его **личный некоммерческий проект**, созданный для самообразования в быстроразвивающейся области. Процесс занял около 40 часов интенсивной работы (включая сжигание целого пакета Claude Max 20×) на одной видеокарте RTX 5090. Самой трудоёмкой частью была обработка и "нарезка" длинных диалоговых данных для обучения в условиях ограниченной памяти. **Философия и успех:** По словам разработчика, успех основан на **честности** (чётком указании сильных и слабых сторон модели) и **решении конкретной практической задачи** — создании эффективного и доступного локального помощника для программирования. Он активно взаимодействует с сообществом, отвечая на отзывы. Лу Юйсинь считает, что у индивидуальных разработчиков есть своя ниша: они могут быть более сфокусированными и гибкими, чем крупные компании, для которых выпуск моделей часто связан с более широкими бизнес-задачами. Ссылка на модели: https://huggingface.co/yuxinlu1

marsbit2 дня назад 01:53

ТОП моделей Hugging Face, теперь я признаю только yuxinlu1

marsbit2 дня назад 01:53

Американские крупные модели становятся закрытыми, под предлогом безопасности

В июне 2026 года правительство США по соображениям национальной безопасности ввело ограничения на развертывание передовых моделей ИИ. Антропик после приказа об отзыве получил разрешение на ограниченное развертывание своей модели Mythos 5 для более чем 100 американских учреждений, в то время как общедоступная версия Fable 5 осталась заморожена. OpenAI выпустила GPT-5.6, но доступ к API предоставляется только утвержденным партнерам. Обе компании заявляют, что их модели, согласно собственным стандартам безопасности, не представляют неприемлемого риска. Критики, включая бывшего советника Белого дома Дина У. Болла, указывают на отсутствие у регулирующих органов четких, прозрачных и технически обоснованных критериев для таких решений. События сравнивают с "криптовойнами" 1990-х, когда попытка контролировать экспорт сильных алгоритмов шифрования провалилась, нанеся ущерб конкурентоспособности американских компаний. Эксперты предупреждают, что подобные ограничения, если они станут постоянными, могут подорвать инвестиционную логику отрасли, замедлить распространение и освоение технологии, в то время как китайские модели активно развивают открытые подходы. Возникает опасение, что эпоха свободного доступа к передовым ИИ сменяется эрой правительственного одобрения, что может привести к концентрации могущественных технологий в руках небольшой группы игроков.

链捕手2 дня назад 15:24

Американские крупные модели становятся закрытыми, под предлогом безопасности

链捕手2 дня назад 15:24

Только что, DeepSeek V4 обновил DSpark, скорость вывода повысилась на 80%

DeepSeek выпустил фреймворк спекулятивного декодирования DSpark, который увеличивает скорость вывода DeepSeek-V4 на 80%. DSpark, развернутый в онлайн-трафике DeepSeek-V4 (Flash и Pro), сочетает высокопроизводительную «параллельную генерацию» с адаптивной «проверкой с учетом нагрузки». Он использует архитектуру полуавторегрессивной генерации для моделирования зависимостей внутри блоков токенов и аппаратно-ориентированное планирование проверки по уверенности для динамического определения оптимальной длины проверки для каждого запроса. В тестах DSpark превзошел современные авторегрессивные (Eagle3) и параллельные (DFlash) модели-черновики, повысив среднюю длину принятия на 26.7%-30.9% и 16.3%-18.4% соответственно. Вместе с DSpark был открыт исходный код DeepSpec — полного стека для обучения и оценки моделей-черновиков спекулятивного декодирования.

marsbit06/27 08:53

Только что, DeepSeek V4 обновил DSpark, скорость вывода повысилась на 80%

marsbit06/27 08:53

Первый специалист по компьютерной безопасности Дон Сун присоединяется к Meta

Профессор компьютерных наук Калифорнийского университета в Беркли Дон Сун (Сун Сяодун), известный исследователь в области кибербезопасности и искусственного интеллекта, объявила о присоединении к лаборатории суперинтеллекта Meta (Superintelligence Labs) на должности вице-президента по исследованиям ИИ. Она будет подчиняться непосредственно руководителю лаборатории Нэту Фридману. Сун Сяодун, выпускница физического факультета Университета Цинхуа, лауреат стипендии МакАртура и член ACM, IEEE и Американской академии искусств и наук, широко известна своими основополагающими работами, включая метод динамического анализа заражения данных (Dynamic Taint Analysis). Её исследования охватывают безопасность программного обеспечения, adversarial machine learning и безопасность ИИ-агентов. Она также является соосновательницей Oasis Labs и Virtue AI. Вместе с Сун Сяодун в Meta переходят сооснователи Virtue AI Бо Ли и Санми Койехо, а также другие члены их команды. Это назначение рассматривается как усиление позиций Meta в области безопасности ИИ, особенно в свете растущего внимания к проблемам защиты после инцидента с моделью Anthropic Mythos. Цель Meta — безопасно внедрять ИИ в свои продукты, используемые миллиардами людей. В статье также упоминается, что Дэнни Чжоу, ключевой специалист в области рассуждений ИИ и бывший руководитель команды Gemini Reasoning в Google, присоединился к Meta несколькими месяцами ранее. Его работа над такими методами, как Chain-of-Thought, сыграла важную роль в развитии способностей крупных языковых моделей к рассуждениям.

marsbit06/26 08:13

Первый специалист по компьютерной безопасности Дон Сун присоединяется к Meta

marsbit06/26 08:13

Новый открытый исходный код NVIDIA MoE: одна строка import, ускорение тонкой настройки в 3,7 раза

NVIDIA представила открытую библиотеку NeMo AutoModel, которая значительно ускоряет тонкую настройку MoE-моделей. Достаточно добавить одну строку импорта в код на основе Hugging Face Transformers v5, чтобы получить прирост производительности до 3.7 раз и сократить использование видеопамяти GPU на 29-32%. Библиотека совместима с API Transformers и вводит три ключевые оптимизации: Expert Parallelism (EP) для распределения параметров экспертов по GPU и снижения нагрузки на память, DeepEP для совмещения вычислений и коммуникаций, а также Transformer Engine для ускорения базовых операций. На примере модели Qwen3-30B-A3B на 8 GPU H100 скорость обучения выросла с 3075 до 11340 токенов в секунду на GPU. Для очень крупных моделей, таких как Nemotron 3 Ultra 550B, NeMo AutoModel позволяет проводить тонкую настройку там, где стандартный Transformers v5 исчерпывает доступную память. Проект доступен на GitHub, предоставляя простой способ ускорения работы с MoE-архитектурами без серьёзных изменений кода.

marsbit06/26 07:29

Новый открытый исходный код NVIDIA MoE: одна строка import, ускорение тонкой настройки в 3,7 раза

marsbit06/26 07:29

Автор популярного проекта с 28 тысячами звёзд оказался уволен из Google, и IT-магнаты Силиконовой долины тут же вступили в борьбу за него

В июне 2026 года в Google произошёл скандальный инцидент: сотрудник Джастин Поехнелт, проработавший в компании почти 7 лет в команде разработчиков, создал чрезвычайно успешный CLI-инструмент gws для Google Workspace. Инструмент, написанный на Rust, позволял через терминал управлять всеми сервисами Workspace и был специально разработан для работы с AI-агентами. Проект мгновенно стал хитом, набрав 28 тысяч звёзд на GitHub и вызвав огромный интерес сообщества. Однако вместо награды Поехнелт получил увольнение. За два дня до его официального ухода Google на конференции Cloud Next 2026 анонсировала «официальную» версию CLI для Workspace. Этот шаг был расценен многими как присвоение идеи сотрудника. Сам Поехнелт считает, что настоящей причиной увольнения стал страх руководства Workspace перед его инструментом. Gws превращал Workspace из набора приложений с интерфейсом в инфраструктуру для AI-агентов, что потенциально могло подорвать существующую бизнес-модель. Инцидент вызвал резонанс в индустрии, а такие фигуры, как Питер Штайнбергер (создатель OpenClaw), немедленно предложили уволенному инженеру работу, раскритиковав бюрократическую культуру Google.

marsbit06/26 00:21

Автор популярного проекта с 28 тысячами звёзд оказался уволен из Google, и IT-магнаты Силиконовой долины тут же вступили в борьбу за него

marsbit06/26 00:21

Сильное отступление рынка ИИ, момент GLM-5.2 от DeepSeek?

Во вторник акции, связанные с искусственным интеллектом (ИИ), столкнулись с самым резким с начала года давлением продаж. Коррекция началась на южнокорейском рынке, где ведущие компании цепочки поставок ИИ, такие как Samsung Electronics и SK Hynix, упали более чем на 10%, что привело к срабатыванию торгового останова на KOSPI. Волна распродаж затем перекинулась на США, где индекс Nasdaq упал на 2,2%, а акции в сфере ИИ и полупроводников стали аутсайдерами. Многие аналитики связывают эту коррекцию с выходом мощной китайской модели ИИ GLM-5.2 от компании Zhipu AI, что сравнивают с влиянием DeepSeek R1 в начале 2025 года. Появление сильных и доступных открытых моделей заставляет инвесторов переоценивать оправданность огромных затрат американских технологических гигантов (таких как Alphabet, Amazon, Meta) на инфраструктуру центров обработки данных. Рынок столкнулся с двойным давлением: растущими сомнениями в окупаемости инвестиций в ИИ и ожиданиями сохранения высоких процентных ставок в США из-за устойчивости экономики. Падение южнокорейских акций также могло усугубиться локальными факторами, включая критику регулятора в отношении одобрения рискованных ETF и решение MSCI не включать Южную Корею в список развитых рынков. Несмотря на резкую коррекцию, многие наблюдатели не считают, что история роста ИИ завершена. Такие аналитики, как Дэн Айвз из Wedbush, рассматривают это как необходимую «проверку на прочность» и коррекцию перегретого рынка на ранней стадии революции ИИ. Ключевой вопрос для инвесторов сместился с «будет ли рост ИИ» на «не слишком ли высока цена за этот рост», фокусируясь на том, какие компании смогут превратить капитальные затраты в денежный поток, а чьи оценки уже чрезмерны.

marsbit06/24 02:22

Сильное отступление рынка ИИ, момент GLM-5.2 от DeepSeek?

marsbit06/24 02:22

Почему «крестный отец AGI» Бен Герцель считает, что будущее искусственного интеллекта зависит от блокчейна?

Сооснователь SingularityNET и известный исследователь ИИ Бен Гёрцель, называемый «крестным отцом ИИГ» (искусственного общего интеллекта), утверждает, что будущее ИИ зависит от блокчейна. Он считает, что ключевой код ИИГ должен быть открытым и децентрализованным, чтобы избежать монополизации несколькими компаниями, такими как OpenAI или Anthropic. Гёрцель подчеркивает, что одного открытого кода недостаточно — необходима децентрализованная вычислительная инфраструктура, чтобы любой мог запускать систему, а не только обладатели дорогих серверов. Его проект SingularityNET использует блокчейн и токены для создания открытой сети, на которой могут размещаться ИИ-агенты. Он критикует бывших сторонников открытого ИИ, таких как Илон Маск и Сэм Олтман, которые перешли к закрытым разработкам. В качестве успешного примера открытой модели он приводит Linux и интернет. План Гёрцеля включает создание экономики автономных ИИ-агентов, которые смогут выполнять задачи и проводить транзакции для пользователей в децентрализованной сети. SingularityNET планирует выпустить коммерческие продукты (например, подписку уровня «Pro»), работающие на блокчейн-бэкенде, при этом сохраняя базовый код ИИГ открытым. Гёрцель верит, что человеческий уровень ИИГ будет достигнут до 2030 года, и опасается, что контроль над ним корпорациями усилит социальное неравенство. Его подход предлагает альтернативу — открытую, демократизированную экосистему ИИ. Первым практическим шагом станет выпуск автономного агента Omega Claw в ближайшие недели.

Foresight News06/22 12:11

Почему «крестный отец AGI» Бен Герцель считает, что будущее искусственного интеллекта зависит от блокчейна?

Foresight News06/22 12:11

Открытые системы в конечном итоге побеждают: почему Ethereum — следующий Linux?

**Открытые системы в конечном итоге побеждают: Почему Ethereum — это следующий Linux?** Исторические параллели показывают, что открытые, децентрализованные системы («базары») со временем превосходят закрытые, контролируемые («соборы»). Как Linux победил проприетарные UNIX-системы, а интернет — частные сети, так и Ethereum, благодаря своей беспристрастной нейтральности (credible neutrality), имеет все шансы стать доминирующей основой для мировой финансовой инфраструктуры. Ключевые причины: 1. **Беспризорное (permissionless) инновационное развитие:** Подобно модели разработки Linux с открытым исходным кодом, Ethereum позволяет любому разработчику вносить инновации без разрешения (примеры: ERC-20, ERC-721, Uniswap). Ни одна частная компания не может сравниться с совокупной скоростью инноваций глобального сообщества. 2. **Суверенитет и нейтральность:** Ethereum — это суверенная вычислительная платформа, правила которой прозрачны, равны для всех, устойчивы к изменениям и открыты для участия. Ни одна организация (будь то корпорация или государство) не может контролировать или произвольно менять сеть, что устраняет риски платформы и создает доверие. 3. **Провал частных альтернатив:** Частные блокчейны и консорциумы (например, We.trade, Marco Polo), продвигаемые банками, страдают от фундаментальных противоречий интересов участников и не могут обеспечить открытую компоновку (composability) и нейтральность, которые являются основной ценностью блокчейна. Многие подобные проекты уже потерпели неудачу. 4. **Эффект сетевого масштаба:** Доверие разработчиков и институтов (Coinbase, BlackRock, JPMorgan, Robinhood) привлекает в экосистему Ethereum больше инструментов, ликвидности и приложений, создавая самоподдерживающийся цикл роста. На Ethereum уже приходится подавляющая доля активности в DeFi, стейблкоинах и токенизированных активах. 5. **Ответственность на уровне приложения:** Аргумент о необходимости контролируемого субъекта для регулирования в финансовой сфере решается на уровне приложений (например, с помощью токеновых стандартов со встроенным KYC, как ERC-3643), а не базового расчетного уровня, который должен оставаться нейтральным. История технологий учит, что преимущества закрытых систем (скорость, фокус) в долгосрочной перспективе уступают силе открытых сетей. Ethereum, как платформа, обеспечивающая суверенитет, нейтральность и беспрепятственные инновации, находится на пути к тому, чтобы стать для финансов тем же, чем Linux стал для операционных систем, — повсеместно принятой, надежной и открытой основой.

Foresight News06/22 10:29

Открытые системы в конечном итоге побеждают: почему Ethereum — следующий Linux?

Foresight News06/22 10:29

活动图片

Популярные категорииright-arrow

Популярные тегиright-arrow