Если вернуться в 2020 год, большинство специалистов по ИИ обсуждали, насколько мощной является GPT-3.
В то время генеративный ИИ ещё не стал глобальным трендом, до выхода ChatGPT оставалось два года, а большие языковые модели не развязали ту инвестиционную лихорадку, которая сейчас захватила мир. Однако именно тогда ведущий исследователь ИИ из Google вступил в жёсткий конфликт с компанией из-за ещё неопубликованной научной статьи и в итоге потерял работу.
Многие тогда посчитали, что это всего лишь очередной спор о корпоративном управлении, публикациях и культуре в Кремниевой долине. Но сегодня, оглядываясь назад, становится ясно, что предупреждения из той статьи почти полностью воплотились в реальности.
А уволенной исследовательницей оказалась одна из самых влиятельных фигур в области этики ИИ — Тимнит Гебру.
Увольнение, потрясшее мир ИИ
В декабре 2020 года Тимнит Гебру сообщила в соцсетях, что её уволили из Google.
Новость мгновенно взорвала мир исследований ИИ. Ведь Гебру была не рядовым сотрудником, а со-руководителем команды по этике ИИ в Google (Ethical AI Team) и одной из самых известных исследовательниц в области справедливости ИИ и алгоритмических предубеждений.
Родившаяся в Эфиопии Гебру давно изучала проблему расовых и гендерных предубеждений, а также социальной справедливости в ИИ. До прихода в Google она занималась исследованиями в Стэнфордском университете. В 2018 году её участие в публикации исследования об алгоритмических предубеждениях многие сочли поворотным моментом в изучении справедливости ИИ. В том же году Google нанял её, громко заявив о важности "ответственного ИИ (Responsible AI)".
Однако всего два года спустя пути компании и исследовательницы разошлись.
В то время Google официально заявил, что Гебру уволилась по собственному желанию, но сама Гебру представила совершенно другую версию: по её словам, во время отпуска она получила письмо от компании, в котором её уведомили о немедленном прекращении работы, одновременно отключив доступ ко всем внутренним системам и почте.
По её мнению, это было несомненное увольнение.
Впоследствии более 4000 сотрудников Google и представителей отрасли подписали открытое письмо, поставив под сомнение действия компании и потребовав восстановить Гебру в должности. А спусковым крючком послужила научная статья объёмом всего в 14 страниц.
Спор из-за 14-страничной статьи
Статья называлась "On the Dangers of Stochastic Parrots" ("Об опасностях стохастических попугаев"). Её авторами были Тимнит Гебру, профессор лингвистики Вашингтонского университета Эмили Бендер и ещё двое исследователей. На сегодняшний день число цитирований этой статьи превысило 14 000.
Впоследствии термин "стохастический попугай" получил широкое распространение. (Ссылка на статью: https://s10251.pcdn.co/pdf/2021-bender-parrots.pdf)
В статье утверждалось, что большие языковые модели по сути воспроизводят языковые шаблоны на основе статистических закономерностей: они могут генерировать беглый, естественный и даже логичный текст, но при этом не понимают истинного значения языка — словно попугай, научившийся имитировать человеческую речь. Эта имитация лишь кажется умной, но на деле основана на огромном массиве интернет-текстов. А сам интернет полон предубеждений, дискриминации и ненависти. Следовательно, большие модели, скорее всего, усвоят эти проблемы и продолжат их усиливать при генерации контента.
Стоит помнить, что это был 2020 год — только что вышел GPT-3, до ChatGPT было ещё далеко, бум больших моделей ещё не наступил, а эта статья уже предсказала одну из самых острых проблем, с которой сегодня сталкивается вся отрасль.
После подачи статьи на ведущую конференцию по этике ИИ менеджмент Google потребовал: отозвать статью или удалить из неё имена исследователей из Google. Гебру отказалась. Она потребовала от компании объяснить конкретные причины и выразила надежду на дальнейшее обсуждение.
В то же время она отправила в одну из внутренних групп сотрудников Google резкое по тону письмо.
В письме Гебру раскритиковала Google за недостаточные реальные действия в продвижении найма представителей меньшинств и решении проблемы внутреннего неравенства. Она написала: "Когда вы начинаете говорить от имени уязвимых групп, ваше положение ухудшается. Вы вызываете дискомфорт у других руководителей". Она также добавила: если компания так и не объяснит, почему нужно отозвать статью, она в подходящий момент решит уволиться.
События развивались стремительнее, чем она ожидала. По словам Гебру, Google затем ответил, что не будет удовлетворять её требования, и прямо принял её "заявление об увольнении", немедленно отозвав все её права доступа.
Тогда этот инцидент быстро превратился в одну из самых спорных тем в мировом сообществе ИИ.
Тогда радикальные идеи, а сегодня — реальность
Что заставило обсуждать этот случай и по сей день — не само увольнение, а содержание той статьи. Потому что сегодня, оглядываясь назад, видно, что почти каждое выраженное в ней опасение превратилось в реальную проблему, с которой сейчас сталкивается индустрия ИИ.
(1) Первое предупреждение: модели будут "гнать пургу"
В 2020 году только что вышел GPT-3. Люди тогда восхищались способностью модели генерировать текст, но мало кто серьёзно обсуждал её надёжность.
Гебру и Бендер же указали: по мере увеличения масштаба моделей людям будет всё проще принять беглость изложения за настоящее понимание. Модель может казаться думающей, но на самом деле она лишь предсказывает следующее наиболее вероятное слово. Следовательно, рано или поздно она начнёт генерировать правдоподобную, но совершенно ложную информацию.
Сегодня у этой проблемы есть знакомое всем название: галлюцинации ИИ (AI Hallucination). Проблема галлюцинаций до сих пор не решена полностью ни в ChatGPT, ни в Gemini, ни в Claude, ни в других передовых моделях.
В определённом смысле эта статья предвидела "галлюцинации" ещё до того, как этот термин стал популярным в отрасли.
(2) Второе предупреждение: предубеждения не исчезнут, а усилятся
В статье также отмечалось, что сам интернет не является нейтральным источником данных, а обучающие данные по своей природе содержат различные расовые, гендерные, культурные и региональные предубеждения. Модели не только усвоят эти предубеждения, но и могут усилить их из-за механизмов оптимизации.
Позднее различные реальные случаи подтвердили это опасение:
Amazon пыталась использовать ИИ для отбора резюме соискателей, и система автоматически занижала оценки резюме, содержащим такие ключевые слова, как "women" (женщины).
Было обнаружено, что система оценки медицинских рисков, используемая во многих крупных больницах США, постоянно недооценивает потребности чернокожих пациентов.
Кредитная карта Apple Card также привлекла внимание регуляторов из-за того, что женщинам устанавливались гораздо более низкие кредитные лимиты, чем мужчинам.
Эти примеры показывают, что алгоритмы не обеспечивают автоматическую справедливость; напротив, они могут незаметно закреплять неравенство, существующее в реальном мире.
(3) Третье предупреждение: энергопотребление ИИ станет новой проблемой
В 2020 году затраты на вычислительные мощности ещё не привлекали такого внимания, как сегодня, но в той статье уже начали обсуждать влияние на окружающую среду, связанное с обучением сверхбольших моделей. По расчётам исследователей, углеродный след от обучения одной большой языковой модели эквивалентен выбросам пяти автомобилей за весь срок их службы — тогда многие сочли это утверждение излишне пессимистичным.
Однако по мере вхождения гонки за инфраструктуру ИИ в стадию гонки вооружений проблема быстро проявилась: согласно данным, раскрытым Google, объём выбросов парниковых газов компании в 2024 году вырос на 48% по сравнению с 2019 годом; Microsoft за тот же период показала рост примерно на 29%. Обе компании чётко указали, что одной из важных причин являются дата-центры для ИИ и инфраструктура для вычислений.
Что иронично, всего несколько лет назад эти технологические гиганты громко заявляли о целях по углеродной нейтральности.
(4) Четвёртое предупреждение: никто по-настоящему не знает, что находится в обучающих данных
Многие считают данные для обучения просто инженерной задачей. Но Гебру полагала, что по мере увеличения объёма данных полный аудит обучающих данных станет практически невозможным.
Её мнение снова подтвердилось: в 2023 году исследователи обнаружили, что в широко используемом наборе данных для обучения моделей генерации изображений LAION-5B содержится большое количество изображений с жестоким обращением с детьми. Многие основные модели, включая Stable Diffusion, использовали этот набор данных.
Как и следовало ожидать, многие разработчики ранее не знали о существовании такого контента. Другими словами, даже сами создатели моделей не обязательно знают, что именно "съела" их модель — а это как раз одна из проблем, впервые поднятых в той статье.
(5) Пятое предупреждение: интернет постепенно заполнится контентом от ИИ
С точки зрения Google, это, возможно, была самая чувствительная часть всей статьи. Гебру и Бендер считали, что развитие больших моделей в конечном итоге сконцентрирует право голоса в языке и культуре в руках очень небольшого числа технологических гигантов. Причина проста: обучение сверхбольших моделей требует огромных финансовых ресурсов, вычислительных мощностей и данных, и число компаний, реально способных участвовать в этой гонке, можно пересчитать по пальцам.
Со временем основным голосом в интернете станет статистическое среднее значение, выработанное моделями нескольких компаний, которое затем будет распространяться по всему миру под видом "нейтрального помощника". В то же время языки и культуры, слабо представленные в обучающих данных, будут ещё больше маргинализированы.
Более серьёзно то, что когда контент, сгенерированный ИИ, снова попадёт в интернет и станет частью следующего набора обучающих данных, проблема будет лишь самовоспроизводиться и усиливаться — именно это явление сегодня исследователи называют "коллапсом модели (Model Collapse)".
Исследование 2024 года показало, что около 57% нового контента в англоязычном интернете уже генерируется или создаётся с помощью ИИ; а исследования по языкам с ограниченными ресурсами обнаружили, что из-за того, что всё больше обучающих данных поступает от контента, созданного ИИ, качество перевода для некоторых языков уже заметно ухудшилось.
Другими словами, эта статья не только предсказала явление "коллапса модели", но и указала на механизм его формирования ещё до того, как это понятие официально появилось.
После ухода из Google она продолжила исследования
После случившегося многие позже описывали Гебру как "противницу ИИ". На самом деле это не так. Она никогда не призывала останавливать развитие ИИ. С самого начала она ставила под сомнение другое:
Кто решает, в каком направлении будет развиваться ИИ?
По её мнению, исследователи и менеджеры, продвигающие развитие больших моделей, часто имеют схожее происхождение, служат схожим бизнес-целям и движимы одинаковым конкурентным давлением. В условиях таких стимулов более быстрый выпуск продукта, более быстрое увеличение пользовательской базы и победа в рыночной конкуренции часто имеют более высокий приоритет, чем вопросы безопасности, справедливости и этики.
А все, кто пытается замедлить этот процесс, могут быть восприняты как препятствующие. Ирония в том, что Гебру высказала эту идею внутри Google, а Google, уволив её, предоставил этой идее самую драматичную реальную иллюстрацию.
Ещё более примечательно, что вскоре после инцидента была уволена и другая со-руководительница команды по этике ИИ — Маргарет Митчелл. Таким образом, за 90 дней некогда гордившаяся Google команда по этике ИИ была фактически расформирована.
После ухода из Google в 2021 году Гебру основала Институт распределённых исследований ИИ (DAIR, Distributed AI Research Institute). В отличие от крупных технологических компаний, эта организация стремится проводить исследования ИИ вне коммерческих интересов. Её цель предельно ясна: изучать те вопросы, с которыми технологические гиганты, возможно, не захотят сталкиваться. За последние несколько лет DAIR продолжает фокусироваться на таких темах, как источники данных, справедливость алгоритмов, языковое разнообразие и концентрация власти в индустрии ИИ.
И по мере взрывного развития генеративного ИИ всё больше исследователей начинают вновь обращать внимание на ту статью "Об опасностях стохастических попугаев": потому что они обнаружили, что проблемы, которые в той статье казались излишне тревожными, сегодня стали реальностью, обсуждаемой в отрасли ежедневно.
Возможно, она просто раньше других увидела проблему
Прошло шесть лет. Вопрос о том, кто был прав в споре между Тимнит Гебру и Google, возможно, никогда не получит ответа, с которым согласятся все.
Google считает, что это был обычный случай научного рецензирования и увольнения; Гебру же полагает, что её подвергли давлению за настойчивость в публикации результатов исследования. Но одно становится всё труднее отрицать:
Та статья, из-за которой она покинула Google, не утратила своей значимости после окончания спора.
Напротив, проблемы, которые она поднимала — галлюцинации, предубеждения, загрязнение данных, экологические издержки, коллапс моделей и концентрация власти — сегодня стали темами, которых вся индустрия ИИ не может избежать.
Иногда история даёт оценку неожиданным образом.
В 2020 году многие считали Тимнит Гебру излишне пессимистичной;
В 2026 году люди начинают понимать, что, возможно, она просто раньше других увидела проблему.
Источник: https://www.tumblr.com/dreaminginthedeepsouth/817865966907228160/darren-oconnor-timnit-gebru-was-fired-from
Статья из официального аккаунта WeChat "CSDN", редактор: Чжэн Лиюань
