Zhongzhu's Blog

Keep

0%

Voyager：一个能在 Minecraft 中持续成长的 LLM 具身智能体 —— 深度技术评审

Posted on Edited on In

1. 为什么这篇论文值得“周末整块时间”认真读

如果我要用一句最朴素的话概括这篇论文，我会这样说：

Voyager 的核心不是“让模型答对一道题”，而是“让模型像会成长的玩家一样，在世界里持续探索、持续积累、持续变强”。

这句话非常关键。

很多早期 LLM Agent 看起来很聪明，是因为它们能：

  • 解释问题；
  • 写一个计划；
  • 调用一个工具；
  • 完成一次循环。

但它们常见的短板也很明显：

  • 每次都像“第一次做题”；
  • 成功经验不一定沉淀成可复用能力；
  • 长任务容易中途崩；
  • 没有稳定的“能力增长曲线”。

Voyager 真正试图回答的是更难的问题：

  1. 能不能在没有固定终点的开放世界里持续探索？
  2. 能不能自动选“当前合适的下一步任务”？
  3. 能不能把成功动作沉淀成未来可复用技能？
  4. 能不能把学到的技能迁移到新世界继续解新任务？

这已经不是“聊天机器人范式”了，而是明显更接近“持续学习系统范式”。

我欣赏这篇论文的一点是：它并没有吹“AGI 已经解决”。它做的是很扎实的系统工程工作：

  • 任务选择机制；
  • 代码动作生成；
  • 反馈驱动修复；
  • 技能存储与检索；
  • 可解释的评估指标。

它没有重新训练一个超大模型，而是主要依赖：

  • Prompt 结构设计；
  • 记忆组织方式；
  • 执行反馈闭环；
  • 程序化动作抽象。

换句话说，这篇论文最重要的贡献，不在“更大的模型”，而在“更正确的 Agent 架构”。

这也是为什么它今天仍然值得细读。

2. 前置知识：理解这篇论文前需要知道什么

这一节我会故意讲慢一点。默认读者是聪明但没有相关背景的人。

2.1 什么是具身智能体

普通聊天模型是“输入文本，输出文本”。它不真的“去做事”。

具身智能体（embodied agent）不一样，它在一个环境中行动，行动会改变环境，环境再反馈回来。

最简单的闭环是：

  1. 观察当前状态；
  2. 决定动作；
  3. 执行动作；
  4. 接收反馈；
  5. 再决策。

在机器人里，这个环境是现实世界；在 Minecraft 里，这个环境是游戏世界。

所以关键不是“会说”，而是“会在反馈里持续调整行为”。

2.2 为什么 Minecraft 是严肃研究场景，而不只是游戏

很多人第一次听到 “Minecraft Agent” 会下意识觉得不够学术，这是误解。

Minecraft 对智能体很难，难在它把多个现实挑战叠到一起：

  • 长链条目标（长程规划）；
  • 资源依赖关系复杂；
  • 成功信号稀疏且延迟；
  • 需要探索未知地形；
  • 生存约束（饥饿、怪物、昼夜）；
  • 许多技能必须前置组合。

举个直观例子：你想做钻石工具，不可能一步到位。 你得先：

  • 砍木头；
  • 做木板；
  • 做工作台；
  • 做木镐；
  • 挖石头；
  • 升级石镐；
  • 挖铁矿；
  • 冶炼；
  • 再推进。

这就是“结构化能力生长”问题。

所以 Minecraft 其实是一个很好的“开放世界能力累计”试验场。

2.3 什么叫“终身学习”（lifelong learning）

终身学习不是“无限时长跑同一个任务”，而是“不断遇到新任务，并让旧经验帮助新任务”。

人类类比很简单：

  • 会骑车后，很多平衡类活动都更容易；
  • 会做饭基本刀工后，做新菜更快；
  • 会代数后，学物理建模门槛下降。

对应到 Agent：

  • 之前学会“做工作台”与“冶炼铁锭”；
  • 后续遇到“制作铁镐”就不该从零摸索。

关键词是：可复用。

如果每次成功都无法沉淀为可复用技能，那只是“临场发挥”，不是终身学习。

2.4 为什么开放世界探索比目标导向任务难得多

很多 benchmark 任务给定了明确目标：

  • 到达点 A；
  • 制作物品 B；
  • 回答问题 C。

开放世界更难，因为系统还要回答一个元问题：

“下一步该做什么，最划算？”

这需要综合判断：

  • 当前能力边界；
  • 资源可达性；
  • 风险与收益；
  • 新颖性与重复性。

所以 Voyager 必须有自动课程模块。

没有这个模块，智能体很容易：

  • 要么一直做简单重复动作（低效）；
  • 要么跳到超难任务反复失败（卡死）。

2.5 为什么“把代码当动作空间”是关键

这是全文最“值钱”的设计之一。

Voyager 不是输出原子级动作（前进、左转、挥手）为主，而是直接生成可执行程序。

程序动作长这样（概念示意）：

1
2
3
4
5
6
7
async function craftStoneSword(bot) {
  // 检查是否有木材
  // 不够就采集
  // 需要时制作中间材料
  // 放置工作台
  // 最终合成石剑
}

为什么这很重要？

因为程序天然具备：

  • 长时序表达能力；
  • 条件分支；
  • 函数组合与复用；
  • 可解释与可调试。

通俗比喻：

  • 原子动作像“逐块肌肉指令”；
  • 程序动作像“告诉你做一道菜的完整步骤”。

第二种明显更适合积累“技能”。

2.6 什么是课程学习（curriculum learning）

课程学习就是“由浅入深”的训练路径。

这在人类学习中很自然：

  • 先四则运算，再代数；
  • 先音阶，再曲目；
  • 先站稳，再跑步。

在 Minecraft 中，也应类似：

  • 先基础采集与生存；
  • 再中级制作；
  • 再高级探索与装备升级。

Voyager 的亮点是课程并非固定写死，而是由模型依据当前状态动态提出下一步任务。

2.7 什么是技能库（skill library）

很多系统的“记忆”是文字摘要。Voyager 更进一步：

它把成功任务的可执行代码保存进技能库。

这意味着记忆是“能跑的”，不是只“能读的”。

它带来两个直接收益：

  1. 避免重复造轮子；
  2. 支持复杂任务由小技能组合完成。

这就是能力复利。

2.8 环境反馈和执行错误到底有何区别

两者都在“失败后提供信息”，但性质不同。

环境反馈：程序能运行，但世界状态告诉你“缺了什么/发生了什么”。

例如：

  • 缺 2 块木板；
  • 附近有僵尸；
  • 有铁矿但没有燃料。

执行错误：程序本身有问题。

例如：

  • 调用了不存在的 API；
  • 生成了无效物品；
  • 代码语法/逻辑错误。

一个是“世界不满足”，一个是“程序不正确”。

高质量 Agent 必须同时利用这两类信号。

2.9 什么是自验证（self-verification）

自验证是额外引入一个“评审角色”的 LLM 调用，判断任务是否完成。

它不只是 yes/no，还会在失败时给出 critique（改进建议）。

这比“只靠主模型自我感觉”可靠得多。

你可以把它理解为：

  • 主模型是“执行者”；
  • 验证模型是“质检员”。

复杂任务里，这种角色分离非常有价值。

2.10 为什么“新世界迁移”是很硬核的检验

在原场景里表现好，可能只是：

  • 运气好；
  • 环境记忆；
  • 过度适配。

更严格的测试是：

  1. 清空库存；
  2. 换一个新世界；
  3. 给没做过的新任务；
  4. 看是否还能高效完成。

如果技能库里的能力真是“可复用知识”，就应在新世界继续有效。

Voyager 在这点上表现显著更强，这是论文最有说服力的证据之一。

3. Voyager 要解决的精确定义问题

这篇论文不是在问“GPT-4 能不能玩 Minecraft”。真正的问题更具体：

在不做模型参数微调的前提下，能否用提示工程 + 反馈闭环 + 技能记忆，让 LLM 驱动的具身智能体在开放世界中持续成长，并把历史成功转化为未来可复用能力？

拆开看有几个关键子问题：

  1. 一轮生成不稳定：代码/策略常常一次不对；
  2. 开放探索缺任务调度：不知道下一步做什么最合适；
  3. 成功经验难沉淀：做完就忘，导致重复尝试；
  4. 长程任务依赖组合：没有技能模块化就难持续变强；
  5. 工程约束现实：很多团队只能通过 API 黑盒调用模型。

Voyager 的价值就在于：它给出了一套可执行的系统方案来同时应对以上问题。

4. 系统总览：三大模块如何闭环

Voyager 的主干由三个模块构成：

  1. 自动课程（决定“下一步做什么”）；
  2. 技能库（存“怎么做”的可执行程序）；
  3. 迭代提示机制（把失败转化为下一轮改进信号）。

完整闭环可概括为：

  1. 读取当前世界状态 + 历史进度；
  2. 课程模块提出单一、可执行、可验证任务；
  3. 从技能库检索相关已有技能；
  4. GPT-4 生成任务代码；
  5. 在环境执行代码；
  6. 收集环境反馈与执行错误；
  7. 批评模块判断成功/失败并给改进建议；
  8. 成功则写入技能库，失败则记录并换下一任务；
  9. 重复。

如果用一句话概括这三者关系：

课程负责“方向”，技能库负责“积累”，迭代机制负责“纠错”。

这三个都不能少。

5. 模块一：自动课程（Automatic Curriculum）

5.1 为什么必须让智能体“自己决定下一步学什么”

在开放世界里，可能动作太多，如果没有“下一步任务选择”，系统会失焦。

你可以把它看成“学习路线规划器”。

好的下一步任务应满足：

  • 当前有机会完成（可行性）；
  • 完成后能提升能力（成长性）；
  • 不重复刷同一件小事（新颖性）；
  • 可验证（可闭环）。

论文里给了不少例子：根据库存、地形、生物、时间，自动给出合适任务。 这比固定脚本更灵活。

5.2 课程提示词里到底放了什么信息

附录给出的信息非常详细。课程模块输入包括：

  • Inventory（库存）
  • Equipment（装备）
  • Nearby blocks/entities（附近方块与生物）
  • Biome（生物群系）
  • Time（时间）
  • Health/Hunger（生命/饥饿）
  • Position（位置）
  • 已完成任务列表
  • 已失败任务列表
  • 补充知识问答上下文

而且论文明确约束输出格式：

  • 必须是单一任务；
  • 任务要具体；
  • 任务不能太难；
  • 任务尽量新颖；
  • 尽量避免当前体系无法可靠验证的任务类型。

这类“可验证性导向的提示约束”非常实用。

5.3 热身调度（warm-up schedule）为什么很聪明

Voyager 不是一上来把全部上下文灌进提示词，而是按进度逐步增加信息量。

这相当于：

  • 新手阶段只给核心信息，先学基本功；
  • 中后期再增加复杂上下文，支持更高层策略。

这样做的好处是：

  1. 降低早期提示噪声；
  2. 让信息复杂度与能力增长同步。

这其实很像教学中的“脚手架策略”。

5.4 我的理解：这是“上下文内新颖性搜索”

论文提到其目标是“尽量发现多样新事物”。

这不是传统固定奖励最大化，更接近新颖性驱动探索：

  • 不断向能力边界推进；
  • 不局限单一路径；
  • 通过任务序列实现能力覆盖扩张。

这就是 Voyager 曲线能持续增长的重要原因。

6. 模块二：技能库（Skill Library）

6.1 为什么存“可执行程序”比存“文字记忆”更强

很多 Agent 系统记忆是文字日志，比如“上次这样做成功了”。

Voyager 记忆的是“能直接执行的代码技能”。

差别在于：

  • 文字记忆偏“建议”；
  • 代码记忆偏“可调用能力单元”。

可调用能力单元更容易组合成复杂流程。

6.2 技能如何写入

当某任务被判定成功后，系统把对应代码存入技能库。

同时生成技能描述并做向量化，形成“检索键”。

可以理解为：

  • key：技能描述 embedding；
  • value：技能程序代码。

这让后续检索不必依赖关键词完全匹配，而可做语义近邻匹配。

6.3 技能如何检索

遇到新任务时，Voyager 用任务上下文（包括环境反馈）去检索 top-k 相关技能。

这很关键：

检索不只看“任务名”，还看“当前世界状态约束”。

比如：

  • 缺木板/木棍时，应先检索采集与中间材料合成技能；
  • 战斗任务时，应优先检索装备与战斗技能；
  • 冶炼任务时，应检索炉子相关技能。

这种状态感知检索，显著提高了代码生成命中率。

6.4 组合性为何决定了长程能力上限

Minecraft 高级任务都依赖多个前置步骤。

如果没有组合复用，每次都从零生成，搜索空间会爆炸。

技能库把复杂任务拆成“可拼接模块”，这就是能力复利来源。

论文里也观察到：去掉技能库后，系统早期还能跑，但中后期明显平台期。

这非常符合工程直觉。

7. 模块三：迭代式提示机制（Iterative Prompting）

Voyager 不迷信“一次生成就正确”，而是用迭代修复。

7.1 环境反馈

环境反馈告诉你“世界状态层面哪里不满足”。

例如：

  • 材料数量不够；
  • 目标资源尚未出现；
  • 当前状态不支持下一步合成。

这是“任务前提不足”信号。

7.2 执行错误

执行错误告诉你“程序层面哪里写错了”。

例如：

  • 物品名不存在；
  • API 使用错误；
  • 代码逻辑有误。

这是“程序正确性不足”信号。

7.3 自验证与批评

Voyager 专门有 critic 角色判断任务是否完成，并在失败时给 critique。

这比“仅靠主模型主观判断”更可靠。

而且任务空间是动态的，手写规则验证器成本很高。用 LLM critic 作为统一验证接口是现实可行方案。

7.4 四轮上限的工程意义

论文伪代码显示每个任务最多尝试 4 轮修复。

这点非常工程化：

  • 太少：来不及修复常见错误；
  • 太多：会在单任务上烧光预算。

四轮上限是一种成本与鲁棒性的平衡。

我认为这是很多 Agent 生产系统都值得借鉴的“硬预算策略”。

8. 为什么“代码即动作”是全文最重要建模决策

如果只能选一个核心贡献，我会选“代码即动作空间”。

原因如下：

  1. 时序压缩：函数天然封装多步动作；
  2. 可复用：一个技能可以在多任务重用；
  3. 可组合：复杂目标可由小技能拼接；
  4. 可调试：错误有清晰执行痕迹；
  5. 可解释：人可读可审计；
  6. 匹配 LLM 强项：GPT-4 对代码合成能力显著强于纯策略控制。

当然，这个决策也有边界：

  • 依赖较高层 API；
  • 绕开了原始视觉-控制问题；
  • 不等于已经解决通用机器人控制。

但在论文目标（高层终身学习架构）下，这是非常正确的选择。

9. 从伪代码看 Voyager 的端到端执行逻辑

附录伪代码可以概括为：

1
2
3
4
5
6
7
8
9
10
while True:
  根据当前进度提出下一任务
  最多循环4次:
    检索相关技能
    生成代码
    执行代码
    收集环境反馈+执行错误
    critic判定是否成功
  成功则写入技能库并标记完成
  失败则标记失败并继续下一任务

我认为这段伪代码体现了三条重要工程原则：

  1. 角色解耦：课程、执行、验证、记忆分离；
  2. 失败信息化：失败不是终止，而是下一轮输入；
  3. 成功资产化：成功不是一次性事件，而是长期资产。

这就是为什么 Voyager 的能力曲线能持续向上，而不是短暂高光。

10. 实验设置

10.1 模型配置

论文使用：

  • GPT-4-0314（主推理与代码生成）
  • GPT-3.5-turbo-0301（部分辅助任务）
  • text-embedding-ada-002（技能描述向量化）

温度设置：

  • 大多数模块 temperature=0（稳定）；
  • 自动课程 temperature=0.1（增加任务多样性）。

这个设置很合理：

  • 代码生成要稳；
  • 任务提议要有适度探索。

10.2 环境与控制接口

环境基于 MineDojo，并通过 Mineflayer API 控制。

注意这意味着：

  • 主要研究高层任务规划与代码动作抽象；
  • 不聚焦低层像素感知与连续控制。

这不是缺点，而是论文明确的作用域。

10.3 Baseline 选择

主要对比：

  • ReAct
  • Reflexion
  • AutoGPT
  • 去掉技能库的 Voyager 变体

这是合理对比组，因为都属于 LLM Agent 代表范式。

10.4 评估维度

论文评估并不单薄，覆盖：

  • 探索新物品数量；
  • 技术树解锁效率；
  • 地图覆盖范围；
  • 新世界零样本任务表现；
  • 模块消融影响；
  • 人类反馈扩展能力。

这使结果更可信。

11. 结果解读（不只报数字，解释含义）

11.1 探索能力

论文报告：160 次 prompting 迭代内，Voyager 发现 63 个 unique items，约为基线的 3.3 倍。

这个指标并非花哨数字。

要持续发现新物品，意味着智能体必须：

  • 跨区域移动；
  • 逐步升级工具；
  • 执行不同技能组合；
  • 避免长期卡在局部状态。

所以这项结果说明 Voyager 在“持续探索曲线”上显著更稳。

11.2 技术树推进

论文给出的关键结论：

  • 木制阶段解锁速度约快 15.3 倍；
  • 石制阶段约快 8.5 倍；
  • 铁制阶段约快 6.4 倍；
  • 且只有 Voyager 能触达钻石阶段。

这非常有说服力。

因为技术树体现的是“层级能力组合”而非单点技巧。

如果系统只会短期 improvisation，通常到中后期就会崩。Voyager 能推进到更高层，说明其技能复用机制确实有效。

11.3 地图覆盖

Voyager 地图行进距离约为基线 2.3 倍。

更广覆盖意味着：

  • 接触更多地形与资源；
  • 增加发现新任务机会；
  • 降低局部停滞风险。

这与自动课程模块的作用是吻合的：

好课程会驱动系统不断向新区域/新挑战移动。

11.4 新世界零样本泛化

论文在“清空库存 + 切换新世界 + 给未见任务”的设置下，Voyager 仍显著优于基线。

这说明技能库不是“场景特定死记硬背”，而是有可迁移的程序性知识。

特别有意思的是：

给 AutoGPT 接入 Voyager 技能库后也有提升，说明这个技能库具有“插件式增益”价值。

这点对工程很重要——它不仅服务于 Voyager 自己，还可能服务于其他 Agent 框架。

11.5 消融实验

论文中我最看重的几条：

  • 自动课程替换成随机课程，发现物品数下降约 93%；
  • 移除自验证模块，下降约 73%；
  • GPT-4 换 GPT-3.5，unique items 减少约 5.7 倍；
  • 移除技能库后中后期明显平台。

这组消融结论告诉我们：

  1. 任务选择（课程）不是锦上添花，是核心驱动力；
  2. 验证模块不是附加组件，是闭环必要件；
  3. 模型能力仍是上限约束；
  4. 记忆复用是“越到后期越关键”的增长引擎。

11.6 人类反馈扩展实验

论文还展示了人类反馈可替代部分模块角色：

  • 人类作为 critic；
  • 人类作为 curriculum。

这说明框架可自然融入 human-in-the-loop 设置。

虽然这不是主线结果，但对实际系统很有启发：

Voyager 不是“只能自循环”的封闭系统，而是能与人类监督信号协同的架构。

12. 我认为最有说服力的证据点

我把最强证据总结成五点。

12.1 问题与架构高度匹配

论文不是“拿一个模型硬怼所有难题”，而是把开放世界终身学习拆成可管理模块。

12.2 记忆不是文本堆叠，而是可执行技能资产

这是我认为最关键的创新方向之一。它直接提高了后续任务成功率与组合深度。

12.3 指标体系覆盖“探索-成长-迁移-归因”

不是只看一个榜单数字，而是看系统是否真的在成长。

12.4 附录公开度较高

Prompt 结构、伪代码、模块细节给得比较全，可复现性明显高于很多同类论文。

12.5 对局限诚实

论文明确承认成本、幻觉、感知边界等问题。这种克制提高了可信度。

13. 局限性、边界条件与落地风险

严肃评审必须讲清“什么时候它不行”。

13.1 成本高、对模型能力依赖重

论文明确指出 GPT-4 成本显著高于 GPT-3.5，且 ablation 显示换弱模型会明显掉性能。

所以这条路线在当时并不便宜。

13.2 依赖高层 API 抽象

Voyager 通过结构化状态与 Mineflayer API 控制，而非从像素端到端学习。

这降低了问题难度，也限定了外推边界。

13.3 课程与代码都可能幻觉

论文示例里会提到不存在物品（如 copper sword）等问题。

说明即便有反馈回路，LLM 的世界知识偏差仍会带来执行开销。

13.4 自验证并非绝对可靠

critic 也是 LLM 调用，可能误判任务完成与否。

所以需要把它看成“增强可靠性”，而非“保证正确”。

13.5 仍会在局部任务卡住

四轮修复后仍可能失败，只能记为失败任务稍后再试。

这说明系统具备恢复机制，但并不保证单任务必过。

13.6 多模态感知能力受限

当时主要是文本接口，不适合精细视觉判定任务（例如复杂建造细节）。

13.7 从 Minecraft 到现实机器人仍有鸿沟

现实部署还要面对：

  • 传感器噪声；
  • 物理不可逆风险；
  • 安全约束；
  • 延迟与硬件故障；
  • 复杂感知闭环。

因此 Voyager 是高层架构的有力证明，不是“机器人已解决”的证据。

14. 可复现性与工程实操建议

14.1 可复现性评价

在 LLM Agent 论文中，Voyager 的可复现性属于“相对较好”。

原因：

  • 给出清晰模块划分；
  • 给出算法伪代码；
  • 公开关键 prompt 结构；
  • 提供公开代码仓库；
  • 实验协议相对明确。

14.2 实操难点

即便如此，复现仍有门槛：

  • API 版本与行为漂移；
  • 成本与调用预算；
  • 环境依赖安装复杂；
  • Prompt 对细节较敏感；
  • 不同模型替代效果不稳定。

因此它是“可复现但不轻松”的类型。

14.3 对真实系统设计的迁移价值

即使你不做 Minecraft，以下思想也强迁移：

  1. 把成功动作沉淀为可执行资产；
  2. 区分环境失败与程序失败；
  3. 加独立验证角色；
  4. 任务调度要随状态动态调整；
  5. 对单任务重试次数设硬上限。

这些都是今天构建长程 Agent 的关键工程经验。

14.4 我会如何用 Voyager 思路设计生产系统

如果要落地到软件自动化/研究助手系统，我会准备：

  • 高层动作接口（函数/工具）；
  • 程序化技能记忆（可检索可调用）；
  • 任务调度器（根据状态提下一步）；
  • 独立 critic（完成性判定 + 失败诊断）；
  • 有预算约束的迭代修复循环。

这几项合起来，本质上就是“可成长 Agent 骨架”。

15. 对今天 Agent 系统设计的启发

我认为 Voyager 的长期价值不只在 Minecraft 结果，而在其系统观。

15.1 记忆应尽量“能力化”而不是“聊天化”

纯文本记忆适合上下文回顾，程序记忆更适合能力复用。

15.2 “选任务”与“做任务”同等重要

许多系统只优化执行器，忽视任务调度。Voyager 证明这会显著限制增长。

15.3 可调试失败是资产，不是负担

程序执行痕迹提供了强纠错信号，这一点在长程任务里非常关键。

15.4 质检角色必须一等公民化

没有可靠完成判定，Agent 很容易陷入“看似在做事，实际在漂移”。

15.5 高层 API 抽象是实用主义捷径

如果目标是“尽快得到有价值能力增长”，选择合适动作抽象常比盲目追求端到端更有效。

15.6 技能库是外部化程序记忆雏形

这和软件工程中的：

  • 函数库、
  • 组件化、
  • 模板化流程

本质相通。Agent 工程正在和经典工程方法会合。

16. 总结结论

我的结论是：强烈正面评价。

Voyager 当然有边界：

  • 成本高；
  • 对强模型依赖明显；
  • 感知层面仍受限；
  • 现实世界落地还有距离。

但在其明确作用域内，它是非常有代表性的高质量 Agent 系统论文。

如果给普通读者一句总结：

Voyager 教会模型三件事：挑下一步、把成功写成可复用技能、在反馈里持续修正。

如果给研究者一句总结：

Voyager 证明了“自动课程 + 程序技能记忆 + 迭代执行纠错”这组三件套，能够显著提升开放世界具身智能体的持续成长能力。

如果给工程团队一句总结：

它告诉我们：更强 Agent 往往不是“更会聊”，而是“更会积累可执行能力”。

这就是这篇论文直到今天仍有学习价值的根本原因。

17. 参考文献

  1. Guanzhi Wang, Yuqi Xie, Yunfan Jiang, Ajay Mandlekar, Chaowei Xiao, Yuke Zhu, Linxi Fan, and Anima Anandkumar. Voyager: An Open-Ended Embodied Agent with Large Language Models. arXiv:2305.16291, 2023.
  2. Shunyu Yao et al. ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629, 2022.
  3. Noah Shinn et al. Reflexion: Language Agents with Verbal Reinforcement Learning. arXiv:2303.11366, 2023.
  4. Jacky Liang et al. Code as Policies: Language Model Programs for Embodied Control. arXiv:2209.07753, 2022.
  5. Linxi Fan et al. MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge. arXiv:2206.08853, 2022.
  6. Jason Wei et al. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903, 2022.

评审写于 2026-04-12。写作策略：先给零基础读者搭前置认知，再进入方法与实验深水区。