Nadie te ha enseñado realmente cómo investigar. Obtienes un escritorio, un problema elegido por otra persona, y una instrucción vaga de "crear algo nuevo".
Por lo tanto, la mayoría de las personas realiza ingeniería inversa del trabajo a través de lo que pueden ver (como artículos, publicaciones y anuncios), y al final aprenden solo cómo "parecer" un investigador, no cómo "ser" uno. La verdadera capacidad de investigación es una superposición de pequeñas habilidades, y casi todas pueden cultivarse mediante la práctica deliberada.
Elegir tu propio problema
Richard Hamming tenía una costumbre en los Laboratorios Bell que lo hacía muy impopular durante el almuerzo. Le preguntaba a las personas sentadas a su lado cuáles eran los problemas importantes en su campo, y luego les preguntaba por qué no los estaban investigando. Entonces, todos cambiaban de mesa para comer.
Esta pregunta es incómoda porque la mayoría de nosotros no podemos dar una buena respuesta. No estamos eligiendo problemas, sino absorbiéndolos: de nuestros tutores, de los anuncios publicados por un gran laboratorio el trimestre pasado, de los artículos que todos están compartiendo y citando esta semana.
El problema con absorber problemas es que solo tienes las conclusiones, pero no la lógica que hay detrás. Sabes que cierto laboratorio famoso se preocupa por una dirección, pero no sabes por qué, no sabes qué esperan descubrir, ni qué los haría abandonar esa dirección.
Cuando cambian de rumbo, te darás cuenta un año después. Además, en un problema que ya está de moda, compites contra 1,000 personas que comenzaron antes que tú y tienen más potencia de cálculo.
La guía de investigación en aprendizaje automático de John Schulman divide este trabajo en dos modos. El primero: lees la literatura y buscas áreas de mejora. El segundo: elige un resultado que realmente deseas lograr, y luego retrocede para diseñar los experimentos.
Él defiende el segundo, y la razón implícita es que esto genera originalidad. Un objetivo que realmente te importa te llevará a territorios que ningún artículo de revisión ha cubierto.
En cuanto al "gusto" (taste), a menudo se discute como un talento innato. Pero en realidad se comporta más como un músculo.
Antes de ejecutar cada experimento, predice su resultado; tapa la sección de resultados de un artículo, adivina los datos solo por su método; anota qué logros publicados este mes seguirán siendo importantes dentro de dos años, y luego verifica tu tasa de aciertos. Una predicción más una corrección, repite cientos de veces: así es como se entrena cada buen modelo, incluido el que está en tu cabeza.
Mejorar tus entradas
Las listas de lectura compartidas generan ideas compartidas. Si tu dieta de información es solo la lista de tendencias de arXiv más lo que queda después de filtrar por los chats grupales, inevitablemente llegarás a las mismas conclusiones que todos al mismo tiempo, lo que hace que estas conclusiones sean casi inútiles.
El valor de las fuentes antiguas está gravemente subestimado. Este campo siempre recrea con retraso su propio pasado: los modelos de expertos mixtos (MoE) se remontan a 1991, los LSTM a 1997, la retropropagación ya era común en 1986.
Richard Sutton escribió en 2019 "La lección amarga" (The Bitter Lesson) en solo un poco más de mil palabras, y su predicción sobre la trayectoria del campo fue más precisa que revisiones diez veces más largas. Claude Shannon dio una charla en 1952 sobre el pensamiento creativo, y su primer consejo fue reducir el problema a una escala casi insignificante, resolver esa versión reducida, y luego aumentar gradualmente la dificultad.
Solo con este consejo, podrás derribar más obstáculos que cualquier sugerencia moderna de productividad.
La amplitud es tan importante como la profundidad. La investigación sobre interpretabilidad toma descaradamente prestado de la neurociencia; el diseño de evaluaciones (Eval) es diseño de mecanismos con una bata blanca; solo con un conocimiento práctico de cómo la GPU realmente mueve la memoria, puedes determinar qué artículos sobre arquitecturas están destinados a fracasar incluso antes de que salgan los resultados del benchmark; y la estadística honesta es probablemente la habilidad más escasa en el campo del aprendizaje automático, donde mucho del "rigor" publicado públicamente no es más que "sensación" con barras de error.
Una cosa más. Lee los artículos en sí, no las publicaciones que los resumen. Los apéndices son donde se esconden los secretos, y la sección de "limitaciones" suele ser la parte más honesta de todo el documento.
Escribir todo
Paul Graham señala que una idea siempre parece muy madura antes de intentar ponerla por escrito. Pero las palabras en blanco y negro exponen los defectos que tu cerebro ha maquillado: suposiciones que nunca probaste, pasos que en realidad no son coherentes, dos afirmaciones que secretamente se contradicen entre sí.
El principio de Feynman era que la primera persona a la que debes evitar engañar eres tú mismo, porque eres el blanco más fácil. Escribir es el mecanismo de defensa más barato jamás inventado.
Darwin fue más allá, lo programó: cualquier hecho que contradijera su teoría se escribía de inmediato, porque descubrió que su memoria eliminaba las pruebas inconvenientes mucho más rápido que las pruebas favorables. Tu memoria hace lo mismo con el registro de tus ejecuciones fallidas.
Mantén el hábito de llevar un registro: hipótesis, configuración, expectativas, resultados, comprensión actualizada. Releer las anotaciones del mes pasado te hará sentir profundamente humilde, ningún revisor puede lograr ese efecto.
