На самом деле никто никогда не учил вас, как проводить исследования. Вы получаете рабочий стол, выбранную кем-то другим проблему и расплывчатую инструкцию «сделать что-то новое».
Поэтому большинство людей реинжинирят эту работу, основываясь на том, что видят (например, статьи, посты и анонсы), и в итоге они учатся лишь тому, как «казаться» исследователем, а не тому, как «быть» исследователем. Настоящая исследовательская способность — это набор небольших навыков, и почти каждый из них можно развить через осознанную практику.
Выбирайте свою собственную проблему
У Ричарда Хэмминга в Bell Labs была привычка, которая делала его крайне непопулярным за обедом. Он спрашивал сидящих рядом людей о важнейших проблемах в их области, а затем спрашивал, почему они не исследуют эти проблемы. В итоге все старались пересесть за другой стол.
Этот вопрос режет, потому что большинство из нас не могут дать хороший ответ. Мы не выбираем проблемы, а впитываем их — от научных руководителей, из анонсов какой-нибудь крупной лаборатории за прошлый квартал, из статьи, которую все цитируют и репостят на этой неделе.
Проблема с впитанными проблемами в том, что вы держите в руках только вывод, не зная логических рассуждений, стоящих за ним. Вы знаете, что известная лаборатория интересуется определенным направлением, но не знаете почему, не знаете, что они надеются обнаружить, и не знаете, какие обстоятельства заставят их отказаться от этого направления.
Когда они меняют курс, вы заметите это лишь год спустя. Более того, в задаче, которая уже стала популярной, вы соревнуетесь с тысячей человек, которые начали раньше вас и обладают большими вычислительными мощностями.
Руководство по исследованиям в машинном обучении Джона Шульмана разделяет эту работу на два режима. Первый: вы читаете литературу и ищете возможности для улучшений. Второй: вы выбираете результат, который действительно хотите достичь, а затем ретроспективно проектируете эксперименты.
Он выступает за второй способ, и скрытая причина в том, что это порождает оригинальность. Цель, которая вас действительно волнует, затащит вас на территорию, которую не покрывала ни одна обзорная статья.
Что касается «вкуса» (taste), о нем часто говорят как о таланте. Но он ведет себя скорее как мышца.
Перед каждым экспериментом предсказывайте его результат; закройте раздел с результатами статьи и попробуйте угадать данные, основываясь только на её методах; записывайте, какие результаты, опубликованные в этом месяце, всё ещё будут важны через два года, и позже проверьте свою точность. Одно предсказание плюс одна коррекция, повторенные сотни раз — именно так тренируется любая хорошая модель, включая ту, что у вас в голове.
Обновляйте свои источники информации
Общий список чтения порождает общие идеи. Если ваша информационная диета — это только горячие статьи с arXiv и то, что осталось после фильтрации в групповых чатах, вы неизбежно придете к тем же выводам, что и все остальные, одновременно с ними, что делает эти выводы почти бесполезными.
Ценность старых материалов сильно недооценена. Эта область постоянно с задержкой повторяет своё прошлое: смеси экспертов (MoE) восходят к 1991 году, LSTM — к 1997-му, обратное распространение стало мейнстримом в 1986-м.
Ричард Саттон в 2019 году всего за тысячу слов написал «Горький урок», и его прогноз траектории развития области оказался точнее, чем у обзоров, длиннее его в десять раз. Клод Шеннон в 1952 году выступил с речью о творческом мышлении, и его первый прием — свести проблему до почти ничтожных размеров, решить эту уменьшенную версию, а затем постепенно возвращать сложность.
Одного этого приема достаточно, чтобы пробить больше стен, чем любой современный совет по продуктивности.
Широта так же важна, как и глубина. Исследования в области интерпретируемости открыто заимствуют из нейробиологии; дизайн тестов — это просто теория механизмов в белом халате; реальное понимание того, как GPU перемещает память, позволяет предсказать, какие архитектурные статьи обречены на провал, ещё до выхода результатов бенчмарков; а честная статистика, возможно, уже самый дефицитный навык в машинном обучении, где многие публикуемые «строгие выводы» — это просто «ощущения» с доверительными интервалами.
И ещё кое-что. Читайте сами статьи, а не посты, их резюмирующие. В приложениях прячутся секреты, а раздел «Ограничения» часто является самым честным отрывком во всём документе.
Записывайте всё
Пол Грэм отмечал, что идея всегда кажется вполне зрелой, пока вы не попытаетесь изложить её словами. Но черным по белому проступают лакуны, заретушированные вашим мозгом: непроверенные предположения, на самом деле несвязные шаги, два заявления, которые тихо противоречат друг другу.
Принцип Фейнмана гласит, что первый человек, которого вы должны избегать обманывать, — это вы сами, ибо вы — самая легкая мишень. Письмо — самая дешёвая система защиты из когда-либо изобретённых.
Дарвин пошёл дальше и сделал это процедурой: любой факт, противоречащий его теории, записывался сразу же, потому что он обнаружил, что его память стирает неудобные свидетельства гораздо быстрее, чем благоприятные. Ваша память поступает так же с записями о ваших неудачных прогонах.
Ведите журнал: гипотезы, настройки, ожидания, результаты, обновлённое понимание. Перечитывание записей за прошлый месяц заставит вас испытать глубокое смирение — ни один рецензент такого эффекта не даст.
