Jack Rae 是一位杰出科学家，以其在大型语言模型 (LLM)、压缩和强化学习方面的工作而闻名。他目前是 Meta 超智能实验室团队的一员。

教育背景

Jack Rae 于 2016 年至 2020 年在伦敦大学学院 (UCL) 完成了计算机科学博士 (Ph.D.) 学位。他的学术工作探索了终身推理的机制，重点是利用稀疏和压缩结构的记忆模型。

2013 年，他获得了卡内基梅隆大学的统计学硕士学位，其学业成绩以 4.1（满分 4.3）的 GPA 进行评估。在学校期间，他参加了学生团体，包括探险者协会和 CMU 自行车俱乐部。

在他早期的学术生涯中，Rae 获得了布里斯托尔大学的数学和计算机科学硕士学位。他于 2008 年至 2012 年在那里学习，并以一等荣誉毕业。在校期间，他还隶属于大学的自行车俱乐部。 ^{[10] [11]}

职业生涯

Jack Rae 曾在多家专注于人工智能研究和开发的知名科技公司担任职务。他曾在 Quora 工作过，之后在 Google DeepMind 工作了大约七年半。在 Google DeepMind 任职期间，他曾担任 Gemini 模型的预训练技术负责人，并率先开发了 Gemini 2.5 的推理能力。他在 Google 的工作还包括为 Gopher 和 Chinchilla 等模型做出贡献。

2022 年 7 月，Rae 宣布他将加入 OpenAI。后来他转到 Meta，并在 6 月宣布了他加入该公司的兴奋之情，他在那里担任杰出科学家，专注于超智能实验室中的 LLM、压缩和强化学习。

在他的职业生涯中，Rae 为几个重要的人工智能模型的开发做出了贡献。在 Google DeepMind，他参与了 Gopher 和 Chinchilla LLM，并在 Gemini 项目中发挥了关键作用，特别是领导了 Gemini 2.5 的预训练工作和推理开发。他还评论了 Gemini 2.0 Flash Thinking 的更新，指出其性能有所提高，并具有长上下文和代码执行等功能。 ^{[1] [2] [3] [4] [5]}

对人工智能的看法

Rae 公开分享了他对人工智能趋势和发展的看法。他评论了“深度学习正在触及瓶颈”的反复出现的观点，通常在特定日期以庆祝的语气这样做。他还讨论了“痛苦的教训”，表明几十年来的对话出版物中的大部分研究并没有直接导致像 ChatGPT 这样的模型，突出了从传统方法（如槽填充、意图建模、情感检测和混合符号方法）的转变。Rae 还表达了对通用人工智能 (AGI) 潜在出现的看法，并评论了高级人工智能能力的具体演示。 ^{[6] [7] [8] [9]}

访谈

关于 Gemini 2.5 Pro 和 AI 研究的讨论 #01

2025 年 4 月 5 日，Jack Rae 出现在 YouTube 频道 Cognitive Revolution 上，讨论大型语言模型的发展，重点是 Gemini 2.5 Pro。作为 Google DeepMind 的首席研究科学家以及推理时推理和扩展的技术负责人，Rae 概述了塑造当前 AI 系统的关键工程策略和研究方向。

他将 Gemini 2.5 Pro 描述为架构和训练不断改进的产物，并指出其处理数十万个 token 的输入上下文的能力反映了渐进的进步，而不是突然的突破。这些进步归功于 DeepMind 内的协作努力和扩展实践。

Rae 还评论了 AI 实验室在诸如思维链提示等推理技术方面的趋同，表明共同的挑战和资源环境促成了类似的结果。他讨论了基于正确性信号的强化学习在改进模型推理中的作用，强调了其随时间的增量演变。

对话讨论了解释性方面的挑战，特别是分析内部模型过程的难度。Rae 强调了在机械解释性方面的持续工作，旨在提高使用复杂推理路径的模型的透明度。

关于通往通用人工智能 (AGI) 的道路，Rae 确定了诸如长期记忆、多模态学习和代理行为等领域是当前的研究重点。他提到 Gemini 2.5 Pro 的长上下文功能能够与扩展的输入（例如大型代码库或文档）进行交互，而无需进行摘要。

他还指出，模型部署涉及权衡，包括计算限制和用户体验设计，这些权衡会影响系统在实践中的使用方式。在整个访谈中，Rae 强调了迭代、扩展和经验测试在语言模型开发中的重要性。 ^[12]