Personne ne vous a vraiment appris à faire de la recherche. Vous recevez un bureau, un problème choisi par d'autres, et une instruction vague de « faire quelque chose de nouveau ».

C'est pourquoi la plupart des gens font une ingénierie inversée du métier à partir de ce qu'ils peuvent voir (comme les articles, les posts et les annonces), et finissent par n'apprendre que comment « paraître » chercheur, plutôt que comment « devenir » chercheur. La véritable capacité de recherche est un empilement de micro-compétences, et presque chacune d'entre elles peut être cultivée par une pratique délibérée.

Choisir ses propres problèmes

Richard Hamming avait une habitude aux Laboratoires Bell qui le rendait très impopulaire aux déjeuners. Il demandait aux personnes assises à côté de lui quels étaient les problèmes importants dans leur domaine, puis leur demandait pourquoi elles n'étudiaient pas ces problèmes. Les gens finissaient par changer de table.

Cette question pique, car la plupart d'entre nous n'ont pas de bonne réponse. Nous ne choisissons pas des problèmes, nous les absorbons — nous les absorbons de nos superviseurs, des annonces publiées par un grand laboratoire le trimestre dernier, des articles que tout le monde cite et partage cette semaine.

Le problème avec les problèmes absorbés, c'est que vous ne détenez que la conclusion, pas le raisonnement sous-jacent. Vous savez qu'un laboratoire célèbre s'intéresse à une direction, mais vous ne savez pas pourquoi, vous ne savez pas ce qu'ils espèrent découvrir, ni ce qui les ferait abandonner cette direction.

Lorsqu'ils changent de cap, vous le découvrez un an plus tard. De plus, sur un problème déjà à la mode, vous êtes en course contre 1 000 personnes qui ont commencé avant vous et disposent de plus de puissance de calcul.

Le guide de recherche en apprentissage automatique de John Schulman divise ce travail en deux modes. Le premier : vous lisez la littérature et cherchez des aspects à améliorer. Le second : vous choisissez un résultat que vous souhaitez vraiment atteindre, puis vous travaillez à rebours pour concevoir des expériences.

Il préconise le second, la raison implicite étant que cela produit de l'originalité. Un objectif qui vous tient réellement à cœur vous entraînera vers des territoires qu'aucun article de revue n'a jamais couverts.

Quant au « goût » (taste), on en parle souvent comme d'un don. Mais il se comporte plutôt comme un muscle.

Avant chaque expérience, prédisez son résultat ; cachez la section des résultats d'un article et devinez les données rien qu'à partir de sa méthode ; notez quelles réalisations publiées ce mois-ci seront encore importantes dans deux ans, et revenez vérifier plus tard votre taux de réussite. Une prédiction plus une correction, répétées des centaines de fois — c'est ainsi que tout bon modèle est entraîné, y compris celui dans votre tête.

Améliorer ses inputs

Une liste de lecture partagée produit des idées partagées. Si votre alimentation en information se limite aux classements arXiv et à ce qui reste après le filtrage des discussions de groupe, vous arriverez fatalement aux mêmes conclusions que tout le monde au même moment, ce qui rend ces conclusions presque sans valeur.

La valeur des anciens matériaux est largement sous-estimée. Le domaine rejoue toujours son passé avec du retard : les modèles à mélange d'experts (MoE) remontent à 1991, les LSTM à 1997, la rétropropagation du gradient est devenue courante en 1986.

Richard Sutton a écrit The Bitter Lesson en 2019 en un peu plus d'un millier de mots, et ses prédictions sur la trajectoire du domaine ont été plus précises que celles de revues dix fois plus longues. Claude Shannon a donné une conférence sur la pensée créative en 1952 ; sa première astuce était de réduire le problème à une version presque insignifiante, de la résoudre, puis de réintroduire la difficulté petit à petit.

Rien que cette astuce peut vous aider à percer plus de murs que n'importe quel conseil moderne de productivité.

L'étendue est aussi importante que la profondeur. La recherche sur l'interprétabilité emprunte sans complexe aux neurosciences ; la conception d'évaluations (Eval) n'est que de la théorie des jeux déguisée en blouse blanche ; une compréhension pratique de la façon dont les GPU déplacent réellement la mémoire vous permet de prédire quels articles d'architecture sont condamnés à échouer avant même que les résultats de référence ne sortent ; et les statistiques honnêtes sont probablement déjà la compétence la plus rare en apprentissage automatique, où beaucoup de « rigueur » publiée n'est qu'une « intuition » avec des barres d'erreur.

Encore une chose. Lisez l'article lui-même, pas les posts qui le résument. Les annexes sont l'endroit où les secrets sont enterrés, et la section « Limitations » est souvent le passage le plus honnête de tout le document.

Tout noter par écrit

Paul Graham faisait remarquer qu'une idée semble toujours parfaitement aboutie jusqu'à ce que vous essayiez de la mettre par écrit. Mais l'encre sur le papier révèle les défauts que votre cerveau a maquillés : les hypothèses que vous n'avez jamais testées, les étapes en réalité incohérentes, les deux affirmations qui se contredisent secrètement.

Le principe de Feynman était que la première personne à qui vous devez éviter de mentir est vous-même, car vous êtes la cible la plus facile à tromper. L'écriture est le mécanisme de défense le moins cher jamais inventé.

Darwin est allé plus loin, il l'a programmé : tout fait allant à l'encontre de sa théorie était immédiatement noté, car il avait découvert que sa mémoire effaçait les preuves gênantes bien plus vite que les preuves favorables. Votre mémoire fait de même avec votre historique d'exécutions ratées.

Gardez un journal : hypothèses, configuration, attentes, résultats, compréhension mise à jour. Relire les entrées du mois dernier vous rendra profondément humble — aucun relecteur ne peut produire cet effet.