Google встраивает AI-поиск в смартфон: меньше 600 МБ, поиск по фото, видео и аудио даже без интернета
Google представила EmbeddingGemma 2 — первую в своей линейке мультимодальную модель для создания семантических эмбеддингов, которая работает оффлайн на устройствах с 600 МБ памяти. Модель размером 740 млн параметров позволяет искать по фото, видео и аудио на самом устройстве, используя текстовые, голосовые запросы или даже другие медиафайлы. Например, запрос «поющая птица» находит соответствующие изображения и аудиозаписи.
Модель преобразует текст, изображения и звук в единое векторное пространство, где семантически близкие элементы располагаются рядом. Это позволяет выполнять кросс-модальный поиск: искать картинки по словам или находить фрагменты видео по аудио. Контекстное окно модели составляет 8 тыс. токенов (в 4 раза больше предыдущей версии). Тесты показывают, что она значительно превосходит аналогичные модели в поиске по изображениям и видео.
Архитектура позволяет загружать только необходимые компоненты: текстовый (270 МБ), визуальный (170 МБ) или аудиоэнкодер (300 МБ). На Pixel 11 Pro полная мультимодальная модель занимает около 567 МБ. Также представлена функция сжатия индексов, экономящая две трети памяти с минимальной потерей качества.
Разработчики уже создали демо-приложения для поиска в фотоальбомах, мгновенного перехода к моментам в видео и локального поиска по файлам и заметкам. Модель интегрирована в llama.cpp, доступны оптимизированные версии. В тестах на турецком языке она показала точность 97% против 15% у ключевого слова, а на английском коде её результат вырос на 10 пунктов.
Таким образом, EmbeddingGemma 2 делает мощный мультимодальный поиск доступным локально на смартфонах и ноутбуках, обеспечивая приватность и скорость без необходимости подключения к облаку.
marsbit10/08 02:17
