并没有人真正教过你如何做研究。你得到一张办公桌、一个别人挑好的问题,以及一个「做出点新东西」的模糊指令。
因此,大多数人通过他们能看到的东西(比如论文、帖子和公告)对这份工作进行逆向工程,最终他们学到的只是如何「看起来」像个研究员,而不是如何「成为」一个研究员。真正的研究能力是一系列小技能的堆叠,而几乎每一项都可以通过刻意练习来培养。
挑选你自己的问题
理查德·汉明(Richard Hamming)在贝尔实验室有个习惯,这让他在午餐时很不受欢迎。他会问坐在旁边的人,他们领域里重要的问题是什么,然后问他们为什么不去研究这些问题。于是大家纷纷换桌吃饭。
这个问题很刺人,因为我们大多数人都给不出好答案。我们不是在选择问题,而是在吸收问题——从导师那里吸收,从某个大实验室上个季度发布的公告里吸收,从这周大家都在转发引用的论文里吸收。
吸收来的问题,麻烦在于你只握有结论,却不知其背后的推理逻辑。你知道某个著名实验室关心某个方向,但你不知道为什么,不知道他们期望发现什么,也不知道什么情况会让他们放弃这个方向。
当他们转向时,你一年后才会察觉。而且,在一个已经流行起来的问题上,你是在和 1,000 个起步比你早、算力比你多的人赛跑。
约翰·舒尔曼(John Schulman)的机器学习研究指南将这项工作分为两种模式。第一种,你阅读文献并寻找可以改进的地方。第二种,你选择一个你真心希望实现的结果,然后反推去设计实验。
他主张第二种,其隐晦的原因在于这能制造出原创性。一个你真正关心的目标,会把你拖入任何综述论文都未曾覆盖的领地。
至于「品味」(taste),人们常把它当成一种天赋来讨论。但它表现得其实更像是一块肌肉。
在运行每次实验前,先预测它的结果;遮住一篇论文的结果部分,仅凭它的方法来猜测数据;记下这个月发布的哪些成果在两年后依然重要,以后再来验证你的命中率。一次预测加上一次纠错,重复几百次——每一个好模型都是这样训练出来的,包括你脑子里的那个。
升级你的输入
共享的阅读清单产生共享的想法。如果你的信息口粮只是 arXiv 的热门榜单加上群聊筛选后剩下来的东西,你必然会跟所有人同时得出同样的结论,这也使得这些结论几乎一文不值。
旧资料的价值被严重低估了。这个领域总是延时重演自己的过去:混合专家模型(MoE)可追溯到 1991 年,LSTM 到 1997 年,反向传播在 1986 年就成了主流。
理查德·萨顿(Rich Sutton)在 2019 年只用了一千来字就写出了《苦涩的教训》(The Bitter Lesson),而它对该领域发展轨迹的预测,比篇幅长它十倍的综述还要准。克劳德·香农(Claude Shannon)在 1952 年做过一场关于创造性思维的演讲,他的第一招就是把问题缩小到几乎微不足道的程度,破解这个缩小版,然后再将难度一点一点地加回去。
单凭这一招,就能帮你撞破比任何现代生产力建议都要多的墙。
广度和深度一样重要。可解释性研究毫不掩饰地借鉴了神经科学;评测(Eval)设计就是披着白大褂的机制设计;只要对 GPU 到底如何移动内存有实际的认知,你就能在基准测试结果出来之前判断出哪些架构论文注定会失败;而诚实的统计学可能已经是机器学习领域最稀缺的技能了,在这里,许多公开发表的「严谨」,不过是带有误差棒的「感觉」。
还有一件事。去读论文本身,而不是读总结它的帖子。附录才是埋藏秘密的地方,而「局限性」部分通常是整篇文档中最诚实的一段。
把一切都写下来
保罗·格雷厄姆(Paul Graham)指出,一个想法在你试图把它变成文字之前,总感觉已经非常成熟了。但白纸黑字会暴露出你大脑粉饰过的漏洞:你从未测试过的假设、其实并不连贯的步骤、两个悄悄自相矛盾的主张。
费曼(Feynman)的原则是,你必须避免欺骗的第一人就是你自己,因为你是最容易上当的目标。写作是有史以来发明的最廉价的防御机制。
达尔文走得更远,他将其程序化了:任何违背他理论的事实都会被当场写下来,因为他发现自己的记忆删除不便证据的速度,远比删除有利证据的速度快。你的记忆对你失败的运行记录也是如此。
保持做日志的习惯:假设、设置、预期、结果、更新后的认知。重读上个月的记录会让你感到极度谦卑,没有任何审稿人能带来这种效果。
