Насколько маленьким можно сжать изображение?
В феврале 2025 года Объединенная группа экспертов по фотографии (JPEG) объявила о событии, которое было скромно отпраздновано в отрасли: официальный выпуск JPEG AI, первого международного стандарта для сквозного обучаемого кодирования изображений, который разрабатывался годами и возлагал на него большие надежды.
Новость распространилась, и многие исследователи делились ей в социальных сетях с комментариями вроде «ИИ, наконец, попал в стандарты».
Стандарт JPEG появился в 1992 году и уже более тридцати лет является одним из фундаментальных языков цифровых изображений для человечества. Теперь искусственный интеллект начинает переписывать грамматику этого языка.
Однако за празднованиями скрывается тонкая реальность: даже JPEG AI все еще находится на значительном расстоянии от подлинного «перцепционного сжатия».
Инженеры знают, что традиционный показатель качества сжатия, пиковое отношение сигнала к шуму (PSNR), на самом деле слабо коррелирует с тем, насколько «хорошо» изображение выглядит для человеческого глаза. Изображение может получить высокий балл по PSNR, но человеку покажется скучным и невыразительным; другое изображение с более низким PSNR человек может воспринять как детализированное и реалистичное. Оптимизация математических показателей и оптимизация восприятия человеческим глазом — это две совершенно разные задачи.
Десятилетиями, от JPEG до VVC и теперь до JPEG AI, логика проектирования почти всех кодеков продолжала вращаться в рамках математических показателей. Перцепционное сжатие (оптимизация непосредственно под впечатления человеческого глаза) всегда казалось далекой целью академических статей, а не инженерной реальностью, которую можно поместить в телефон.
Именно в этот момент команда инженеров Apple тихо опубликовала статью со своим ответом, под кодовым названием: PICO.
Название статьи: What Matters in Practical Learned Image Compression
Адрес статьи: https://arxiv.org/pdf/2605.05148
Почему «выглядеть лучше» намного сложнее, чем «получить более высокие цифры»?
Чтобы понять PICO, сначала нужно понять, что на самом деле делает сжатие изображений.
Сохранение фотографии в файл по сути является задачей выбора: «что забыть, а что запомнить». При ограниченном объеме памяти необходимо отбросить часть информации, сделав это так, чтобы зритель этого как можно меньше заметил. Разные кодеки следуют разным «правилам отбрасывания».
Традиционные кодеки, такие как JPEG, AV1, VVC, — это системы правил, спроектированные инженерами вручную. Они разделяют изображение на блоки, выполняют преобразования, квантование, энтропийное кодирование — каждый шаг основан на десятилетиях накопленного человеческого опыта. Такие системы могут показывать отличные результаты по математическим показателям вроде PSNR, но по своей сути они ориентированы на «уменьшение ошибки пикселей», а не на «уменьшение дискомфорта для человеческого глаза».
Проблема в том, что человеческий глаз — не измеритель ошибок пикселей. Его чувствительность к текстурам, тексту, деталям гораздо сложнее, чем любая математическая формула. Если сильно сжать фотографию городского пейзажа, PSNR может остаться приличным, но вы увидите размытые края зданий, искаженные буквы на вывесках — именно то, что человеческий глаз замечает в первую очередь.
Появление обучаемых кодеков теоретически открыло новые возможности: нейронные сети можно обучать сквозным образом непосредственно на человеческое восприятие, а не на математические формулы. Но до PICO существующие перцепционные обучаемые кодеки либо были слишком медленными для практического применения, либо не имели кросс-платформенной совместимости, либо не могли гибко контролировать битрейт, и их просто невозможно было внедрить в потребительское устройство.
Три ключевые проблемы, три решения
Аббревиатура PICO расшифровывается как Perceptual Image Codec (Перцепционный видеокодек). Это название прямо указывает на его цель: удовлетворить человеческий глаз.
Исследовательская группа систематически изучила миллионы конфигураций моделей и представила несколько ключевых технологических инноваций.
Первая проблема: медленное энтропийное кодирование. Что делать?
В сжатии изображений есть сложная задача: чтобы сжать сильнее, кодеку нужна «энтропийная модель» для точной оценки количества информации в каждом пикселе. Самый точный метод называется авторегрессионным кодированием: для сжатия каждого пикселя нужно сначала посмотреть на уже сжатые окружающие пиксели и последовательно предсказать следующий. Это как если бы повар, добавляя каждый ингредиент, каждый раз оглядывался на состояние сковороды, прежде чем решить, что делать дальше. Точный, но очень медленный.
Решение PICO — это «Модель контекста за один проход» (One-shot Context Model): самый критический параметр масштаба в энтропийном кодировании выносится отдельно и вычисляется полностью за один прямой проход, без необходимости ожидания; остальные параметры могут вычисляться параллельно. Это сохраняет точность авторегрессии, но обходит узкое место в скорости. Результат: без этого модуля производительность модели падает на 10,28%; с ним скорость практически не страдает.
Вторая проблема: перцепционное обучение вызывает галлюцинации. Что делать?
Изображения, сгенерированные с помощью GAN (Generative Adversarial Networks — порождающих состязательных сетей), часто «выглядят реалистично», но эта реалистичность может быть вымышленной — пряди волос превращаются в несуществующие узоры, на гладкой поверхности появляются ложные текстуры. Что еще хуже, человеческий глаз чрезвычайно чувствителен к тексту: малейшее искажение буквы сразу же заметно.
PICO специально для текста разработал TextFidelityLoss (Функцию потерь верности тексту): используя готовый детектор текста, он автоматически находит текстовые области на изображении и в этих областях применяет строгие ограничения по точности пикселей, одновременно подавляя «творчество» GAN в текстовых областях. Эксперименты показывают, что с добавлением этой функции потерь абсолютная ошибка в текстовых областях снизилась ровно наполовину.
Третья проблема: блочная обработка изображений оставляет видимые границы. Что делать?
Для быстрой работы на мобильных чипах PICO делит изображение на тайлы размером 504×504 пикселей, обрабатывает их по отдельности, а затем объединяет обратно. Но GAN при обучении склонен игнорировать низкочастотные цвета, что часто приводит к видимым цветовым различиям между соседними тайлами, похожим на ощущение «плохо склеенных» кусков в фоторедакторе. Исследовательская группа специально ввела TilingArtifactLoss (Функцию потерь из-за артефактов тайлинга) — многоразрешенную L1-функцию потерь, которая заставляет модель сохранять цветовую согласованность на нескольких пространственных частотах. Эта мера также снизила ошибку на границах тайлов более чем наполовину.
Результаты эксперимента
Команда Apple не ограничилась показателями стандартных бенчмарков. Они поручили сторонней платформе Mabyduck организовать масштабное субъективное тестирование людьми.
Тестирование проводилось методом слепого попарного сравнения: 610 отобранных участников (прошедших проверку на дальтонизм и тест на различение артефактов сжатия) попарно сравнивали результаты восстановления одного и того же изображения разными кодеками, итоговая оценка сводилась в Bayesian ELO. Всего было собрано 74 925 результатов попарного сравнения.
Конечные цифры говорят сами за себя: При одинаковом визуальном качестве размер файла PICO составляет лишь от одной трети до половины размера файлов AV1, AV2, VVC, ECM и JPEG AI — другими словами, для хранения того же изображения ему требуется лишь 30%-43% бит по сравнению с этими стандартами. По сравнению с самыми сильными существующими обучаемыми перцепционными кодеками (HiFiC, MRIC и др.) PICO также экономит 20%-40% размера файла.
Что касается скорости, то на iPhone 17 Pro Max кодирование 12-мегапиксельной фотографии в PICO занимает всего 230 миллисекунд, а декодирование — 150 миллисекунд. Большинство же топовых ML-кодеков работают медленнее даже на серверных видеокартах NVIDIA V100.
Стоит отметить, что в статье отдельно зафиксирован «контрпример»: по традиционному показателю PSNR PICO показывает средние результаты, даже уступая DCVC-RT и VVC. Это как раз подтверждает базовое предположение команды: оптимизация перцепционного качества и оптимизация математических показателей — это по сути два разных направления, и совместить одно с другим невозможно.
Веха эпохи, а не финишная черта
У PICO, конечно, есть свои ограничения. В статье прямо говорится, что для высокоструктурированных синтетических изображений, таких как мультфильмы или схемы, эффективность сжатия у PICO ниже, чем у традиционных кодеков, потому что такой контент по своей природе лучше подходит для моделирования на основе правил, а не для перцепционной генерации.
Но эти ограничения не затмевают значимости данной работы.
Последние тридцать лет технический прогресс в сжатии изображений происходил почти исключительно на пути «сделать цифры лучше». От JPEG к HEVC и далее к VVC инженеры поколение за поколением оптимизировали показатели вроде PSNR, SSIM. А восприятие человеческим глазом всегда оставалось обходимой «трудной проблемой».
PICO — это первая попытка системно разобрать эту проблему: от поиска архитектуры и проектирования функций потерь до масштабного субъективного тестирования людьми, и в итоге — до кодеков, способных работать в реальном времени на смартфоне.
Когда в следующий раз вы будете делиться фотографией с устройства Apple, возможно, вы не почувствуете разницы. Но, возможно, в тихом процессе сжатия алгоритм, созданный специально для восприятия человеческим глазом, будет решать, какую информацию стоит сохранить, а какую можно незаметно забыть.
Команда: от WaveOne до Apple
Автором-корреспондентом этой статьи является Орен Риппель, исследователь Apple, давно известный в области сжатия.
Впервые его имя громко зазвучало в 2017 году. Тогда он работал в стартапе WaveOne и опубликовал статью под названием «Адаптивное сжатие изображений в реальном времени», в которой нейронная сеть превзошла все основные кодеки того времени, сохраняя при этом скорость работы в реальном времени. Эта статья вызвала немалый резонанс в научном сообществе и закрепила позицию Риппеля в области обучения сжатию.
Впоследствии та же основная команда в WaveOne продолжила углубленную работу и выпустила ELF-VC для сжатия видео, добившись экономии битрейта на 44% по сравнению с H.264 на наборе тестов UVG, при этом скорость работы была в пять раз выше, чем у аналогичных ML-кодеков.
Позже эта команда из WaveOne в полном составе перешла в Apple. И PICO — это их первый системный ответ на задачу перцепционного сжатия изображений, подкрепленный вычислительными мощностями и ресурсами платформы Apple.
Эта статья взята из WeChat Official Account «Машина почти разумна» (ID:almosthuman2014), автор: Сжатие — это интеллект
