AI成绩单背后，藏着一位华人“出题人”
每次前沿AI模型发布，业界都会关注MMLU-Pro、MMMU等基准测试的成绩单。这些评测已成为衡量模型能力的“标准科目”，但其背后的关键人物却鲜为人知——华人学者陈文虎。
陈文虎是加拿大滑铁卢大学助理教授，“老虎实验室”（TIGERLab）创始人。随着模型能力快速提升，旧评测体系如MMLU逐渐“失灵”，模型分数趋同，难以区分高下。为此，陈文虎团队推出了MMLU-Pro，通过增加选项、强化推理题、清理简单题目等方式，使新基准更难、更稳定，有效拉开了模型间的差距。
在多模态领域，陈文虎团队创建的MMMU基准包含1.15万道需结合图像与专业知识进行推理的题目，即便顶尖模型初期准确率也仅约60%。后续的MMMU-Pro进一步堵住模型“只看文字猜答案”的漏洞，强调真正的多模态理解能力。
陈文虎的研究始终围绕复杂信息理解与推理。他拥有产业界研发经验，曾参与谷歌Gemini项目，如今在Meta超级智能实验室继续专注于多模态评估。他相信，好的评估源于对模型能力边界的深刻理解，而“老虎实验室”同时进行模型研发，正是为了更懂如何出题。
在AI行业的光环常聚焦于明星公司与产品之时，陈文虎的工作在底层塑造着行业评估模型的共同语言，展现了华人才智在关键基础环节的深远影响。
marsbit06/19 09:18
