← 返回 Tony's Lab
STANFORD UNIVERSITY · 2026–2027 AUTUMN QUARTER · CS DEPARTMENT

■ CS329Z Engineering AI Agents
工程化 AI 智能体

把「会用大模型」升级为「能造 Agent 系统」：从零手写 RAG、工具调用与 Agent 循环，再用 DSPy 理解框架抽象——2026 秋季斯坦福新课（非官方中文译本）
Units3 学分
GradingLetter / C–NC
Meets周一 / 周三 13:30–14:50
WherePackard 101
InstructorsDiyi Yang · Michael Ryan · John Yang
Class №27855
Open Weights—
发布于 2026-09-03 · 原文：cs329z.stanford.edu

从单一语言模型到复合 AI 系统（compound AI systems）——由 LLM、检索器、工具、优化器等相互协作的组件构成的系统——代表了 AI 应用构建方式的根本转变。本课程教学生如何工程化 agentic 系统：覆盖从简单 LLM 管线、复合 AI 系统到自主 Agent 的完整光谱。学生将学会：选择值得做的问题类型、分解问题、挑选合适组件、收集与整理数据、搭建评估体系，并权衡真实构建中的设计取舍。

学生先从零构建核心组件（RAG、工具使用、Agent 循环），再学习 DSPy 这类框架如何抽象这些模式。通过两次全实战作业与一整个学期的项目，获得构建、优化与评估 Agentic 系统的动手经验。

2
全实战作业 + 随堂 quiz
1
整学期小组项目（占 50%）
3
讲师：Yang / Ryan / Yang
11
周 · 18 讲 + 期末 Demo

01课程表 CLASS SCHEDULE · FALL 2026

周一到周三上课，每周两讲。标注 LAB 的为动手实践课。日程为暂定，以课堂宣布为准。课程主题用「周」编号（第 1–11 周），实际为顺序推进的教学模块。

WEEK 1SEP 23 · 周三

绪论：什么是 Agentic 系统？ FOUNDATIONS & LANDSCAPE

从单一模型到复合 AI 系统再到 Agent 的光谱；复合系统何时胜出；三大工程挑战——任务分解（decomposition）、数据（data）、评估（evaluation）；课程安排说明。

必读
  1. The Shift from Models to Compound AI Systems — Zaharia et al., BAIR Blog (2024)
扩展阅读（2）
  1. Agentic Design Patterns Part 1: Four AI Agent Strategies — Ng, The Batch (2024)
  2. Towards Execution-Grounded Automated AI Research — Si et al., arXiv (2026)
WEEK 2SEP 28 · 周一

给构建者的 LLM LLMS FOR BUILDERS

API 与 SDK（litellm）；结构化输出与受约束生成；解码策略与 test-time compute；上下文工程；模型选择；成本 / 延迟权衡。

必读
  1. Building Effective Agents — Schluntz & Zhang, Anthropic (2024)
扩展阅读（1）
  1. Effective Context Engineering for AI Agents — Rajasekaran et al., Anthropic (2025)
WEEK 2SEP 30 · 周三LAB 动手

构建模块：RAG RETRIEVAL-AUGMENTED GENERATION

接地（grounding）与幻觉；embedding 与向量库；分块策略；混合检索；cross-encoder 与 late interaction（ColBERT）。动手：从零搭建一条 RAG 管线。

必读
  1. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — Lewis et al., NeurIPS (2020)
扩展阅读（1）
  1. ColBERT: Efficient and Effective Passage Search via Late Interaction over BERT — Khattab & Zaharia, SIGIR (2020)
WEEK 3OCT 5 · 周一LAB 动手

工具使用与函数调用 TOOL USE & FUNCTION CALLING

REPL；function-calling API；模型上下文协议 MCP；如何设计好工具；代码执行沙箱；错误处理与重试。动手：从零搭建一个会调用工具的系统。

必读
  1. Model Context Protocol Specification — The Linux Foundation (2025)
WEEK 4OCT 12 · 周一

Agent 设计模式与脚手架 AGENT DESIGN PATTERNS & SCAFFOLDS

workflows-vs-agents 分类法；五种可组合的工作流模式；Agent 模式（ReAct、plan-and-execute、reflection）；把脚手架（scaffold）当作设计决策。

必读
  1. ReAct: Synergizing Reasoning and Acting in Language Models — Yao et al., ICLR (2023)
WEEK 4OCT 14 · 周三

Agent 记忆架构 MEMORY ARCHITECTURES

短期 vs 长期记忆；把记忆做成工具调用；文件系统作为外化记忆；结构化记忆范式；跨 Agent 记忆。

必读
  1. MemGPT: Towards LLMs as Operating Systems — Packer et al., arXiv (2023)
扩展阅读（3）
  1. Agent Memory: How to Build Agents that Learn and Remember — Letta Blog (2025)
  2. Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory — Chhikara et al., arXiv (2025)
  3. Generative Agents: Interactive Simulacra of Human Behavior — Park et al., UIST (2023)
WEEK 5OCT 19 · 周一

多 Agent 系统 MULTI-AGENT SYSTEMS

单 Agent vs 多 Agent 架构；编排模式；handoff 与状态传递；委托与协作模式；协调与错误传播的挑战。

必读
  1. AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation — Wu et al., COLM (2024)
扩展阅读（3）
  1. Why Do Multi-Agent LLM Systems Fail? — Cemri et al., arXiv (2025)
  2. Don't Sleep on Single-agent Systems — Neubig, OpenHands Blog (2024)
  3. A Dynamic LLM-Powered Agent Network for Task-Oriented Agent Collaboration — Liu et al., COLM (2024)
WEEK 5OCT 21 · 周三

优化 OPTIMIZATION

从 prompt 到微调的完整图谱：prompt 优化（GEPA、MIPROv2、OPRO、TextGrad）；test-time compute 扩展；LoRA / QLoRA；蒸馏；RLHF / DPO 概览；何时该优化 prompt、权重还是推理算力。

必读
  1. Scaling LLM Test-Time Compute Optimally is More Effective than Scaling Model Parameters — Snell et al., ICLR (2025)
  2. GEPA: Reflective Prompt Evolution Can Outperform RL — Agrawal et al., arXiv (2026)
扩展阅读（2）
  1. Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together — Soylu et al., EMNLP (2024)
  2. Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs — Opsahl-Ong et al., arXiv (2024)
WEEK 6OCT 26 · 周一GUEST

客座讲座 📺 GUEST LECTURE

嘉宾待公布。

WEEK 7NOV 2 · 周一

数据选择与质量 DATA SELECTION & QUALITY

寻找信息量最大的数据；过滤与挑选策略；小而精准的 benchmark；标注实践；质量评估；从 Agent 轨迹构建数据集。

必读
  1. SWE-smith: Scaling Data for Software Engineering Agents — Yang et al., NeurIPS D&B (2025)
  2. Who Validates the Validators? Aligning LLM-Assisted Evaluation with Human Preferences — Shankar et al., UIST (2024)
扩展阅读（1）
  1. LIMA: Less Is More for Alignment — Zhou et al., NeurIPS (2023)
WEEK 7NOV 4 · 周三

评估基础与基准设计 EVALUATION FUNDAMENTALS

为什么评估很难；4-tuple 框架（请求 request、环境 environment、停止条件 stopping criteria、评分器 scorer）；逐组件设计；好基准的特性；贴近现实的脚手架；可靠性维度。

必读
  1. Establishing Best Practices for Building Rigorous Agentic Benchmarks — Zhu et al. (2025)
扩展阅读（2）
  1. How to Build Good Language Modeling Benchmarks — Press (2024)
  2. tinyBenchmarks: Evaluating LLMs with Fewer Examples — Polo et al., ICML (2024)
WEEK 8NOV 9 · 周一

LLM 当裁判与评估基建 LLM-AS-JUDGE & EVAL INFRASTRUCTURE

三种评分器类型；judge prompt 设计；已知偏差；pairwise vs pointwise 评估；非确定性指标（pass@k vs pass^k）；harness 设计；Anthropic 的 8 步路线图。

必读
  1. Demystifying Evals for AI Agents — Grace et al., Anthropic (2026)
  2. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena — Zheng et al., NeurIPS (2023)
  3. AutoMetrics: Approximate Human Judgements with Automatically Generated Evaluators — Ryan et al., ICLR (2026)
扩展阅读（1）
  1. AutoLibra: Agent Metric Induction from Open-Ended Human Feedback — Zhu et al., ICLR (2026)
WEEK 8NOV 11 · 周三

Agent 安全与护栏 SAFETY & GUARDRAILS

工具访问的隐私风险；prompt injection（含间接注入）；红队测试；沙箱与权限模型；输出护栏；责任考量；人在回路（human-in-the-loop）模式。

必读
  1. PrivacyLens: Evaluating Privacy Norm Awareness of LMs in Action — Shao et al., NeurIPS D&B (2024)
  2. Searching for Privacy Risks in LLM Agents via Simulation — Zhang & Yang, arXiv (2025)
  3. Agentic LLMs as Powerful Deanonymizers — Li, arXiv (2026)
扩展阅读（3）
  1. Contextualized Privacy Defense for LLM Agents — Wen et al., arXiv (2026)
  2. Understanding Prompt Injections: A Frontier Security Challenge — OpenAI (2025)
  3. Anthropic's Responsible Scaling Policy — Anthropic (2023)
WEEK 9NOV 16 · 周一GUEST

客座讲座 📺 GUEST LECTURE

嘉宾待公布。

WEEK 9NOV 18 · 周三

编码与软件 Agent CODING & SOFTWARE AGENTS

编码 Agent 端到端如何工作；SWE-agent、Claude Code、OpenHands 架构拆解；脚手架设计决策；SWE-bench 与 4-tuple 框架的实战；Agent 时代软件开发的前景。

必读
  1. SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering — Yang et al., NeurIPS (2024)
  2. OpenHands: An Open Platform for AI Software Developers — Wang et al., ICLR (2025)
扩展阅读（3）
  1. Claude Code: Best Practices for Agentic Coding — Anthropic (2025)
  2. Effective Harnesses for Long-Running Agents — Young, Anthropic (2025)
  3. SWE-bench: Can Language Models Resolve Real-World GitHub Issues? — Jimenez et al., ICLR (2024)
WEEK 10NOV 23 / 25假期

感恩节假期 THANKSGIVING RECESS

停课两周（周一与周三）。

WEEK 11NOV 30 · 周一

主动式 Agent PROACTIVE AGENTS

从被动响应到主动发起；通用用户模型（General User Models, GUM）；下一步行动预测（Next Action Prediction）；开源 proactive 个人 Agent；隐私与信任影响；Agent 何时该主动发起、何时该等待（mixed initiative）。

必读
  1. Creating General User Models from Computer Use — Shaikh et al., UIST (2025)
扩展阅读（2）
  1. Learning Next Action Predictors from Human-Computer Interaction — Shaikh et al., arXiv (2026)
  2. OpenClaw: Open-source proactive AI agent — Steinberger (2025)
WEEK 11DEC 2 · 周三

前沿与开放问题 FRONTIERS & OPEN PROBLEMS

多模态 Agent；Web Agent 与 computer use；科学 Agent；长时运行 Agent 架构；生产与可观测性（链路追踪、监控、成本管理）；可靠性、可扩展性与可解释性方面的开放问题。期末项目开场 Demo。

扩展阅读
扩展阅读（2）
  1. OSWorld: Benchmarking Multimodal Agents in Real Computer Environments — Xie et al., NeurIPS D&B (2024)
  2. WebShop: Towards Scalable Real-World Web Interaction with Grounded Language Agents — Yao et al., NeurIPS (2022)
FINALSDEC 7–11DEMO

期末项目 Demo Day FINAL PROJECT DEMO

期末考试周内举行（Dec 7–11），具体时间地点待定。学期项目终版提交 + 现场系统演示。

02关键截止日期 DEADLINES · 均为太平洋时间

截止时间可能调整，任何变更会在课上宣布并更新于此。

周事项日期时间
W3HW1 发布OCT 5 周一—
W3项目提案（Proposal）截止OCT 9 周五23:59
W6HW2 发布OCT 26 周一—
W6HW1 截止OCT 30 周五23:59
W7期中 Demo（课上）NOV 4 周三课堂内
W7期中报告截止NOV 6 周五23:59
W8论文讲解视频截止（10 分钟）NOV 13 周五23:59
W9HW2 截止NOV 20 周五23:59
W11互评截止（3 个视频）NOV 30 周一23:59
FIN终版提交 + 期末系统 DemoDEC 7–11待定

03评分构成 GRADING

总评 = 项目 50% + 作业 20% + 作业 quiz 15% + 论文视频与互评 10% + 课堂参与 5%。

课程项目作业（HW1+HW2）作业 quiz ×2论文视频 + 互评课堂参与
  • 项目 [50%]：提案 5% · 期中报告 5% · 期中 Demo 7% · 终版提交 15% · 期末系统 Demo 18%
  • 作业 [20%]：HW1 构建 Agentic 系统 10% · HW2 评估一个 Agent 10%（每份作业后有 10 分钟 quiz，口头解释设计取舍）
  • 论文视频与互评 [10%]：10 分钟论文讲解视频 7%（选题 2% + 个人批判性洞见 2% + 增值 2% + 表达 1%）· 互评 3 条 × 1%（须给出具体反馈：一个优点、一个弱点或疑问、一条具体建议）
  • 参与 [5%]：课堂讨论、项目协作、习题课

04作业设计 COURSEWORK

两份全实战作业紧扣课堂组件，每份作业后附 10 分钟 quiz——学生需要口头解释自己的设计决策与权衡，证明真懂。

HW1 · WEEKS 3–6

构建一个 Agentic 系统

给定一个研究论文仓库，构建一个能通过检索相关论文并推理来回答科学问题的 Agent。

  • Part A：用 litellm 从零手写——RAG + 工具使用 + 带推理模式（如 ReAct）的 Agent 循环
  • Part B：用 DSPy 重建关键组件，并反思框架替你抽象了什么
HW2 · WEEKS 6–9

评估一个 Agent

给定一个预构建的 Agent，设计一套完整的评估体系。

  • 基于代码的评分器（code-based graders）
  • 至少一项 LLM-as-judge 评估
  • 用 4-tuple 框架搭建基准任务（请求 / 环境 / 停止条件 / 评分器）
  • 错误分析
PAPER VIDEO & PEER REVIEWS

论文讲解视频与互评

每位学生自选一篇近期 Agent 论文录制 10 分钟讲解视频（第 8 周截止），随后在感恩节后观看并互评其他三位同学的作品。

评分标准：选题扎实且讲清楚（2%）+ 自己的批判或洞见——认同/反对什么、局限、提出的好问题（2%）+ 增值内容——复现结果、跑个小实验、对比方法、演示实现或联系真实 Agent（2%）+ 清晰有吸引力的表达（1%）。

05课程项目 COURSE PROJECT · 占 50%

小组整学期项目，主题：「用 Agent 让斯坦福生活更美好」（Making Life at Stanford Better with Agents）——构建一个改善斯坦福生活某方面的 Agentic 系统。

自动读取 syllabus、提取截止日期并加入日历的阅读器
下学期的选课时间表优化器
论文发现与自动摘要 Agent
校园活动聚合与推荐器
W3项目提案（1 页）
W6期中报告（1 页）+ 期中 Demo——要求有可运行的原型
W10终版提交（1 页）+ 期末系统 Demo（Demo Day）

报告保持精炼（正文 1–2 页，结构化内容如 Agent 失败模式示例放附录）。

06课程须知 LOGISTICS & POLICIES

Units3 学分
Class №27855
Session2026–27 秋季第一学段
Office Hours开课前公布

先修要求

以下任一课程或相当的 NLP 基础：CS224NCS224UCS224VCS336

荣誉守则与 AI 工具政策

  • 写自己的解答；不要在网上找作业答案或现成实现（会用自动化手段检测过度雷同的提交）。
  • 这是一门用 AI 构建的课，所以鼓励你使用生成式 AI——把它当作与你一起思考的协作者：请它解释概念、帮你调试、 critique 你的设计，都完全没问题。
  • 禁区：索取成品答案或抄袭解法——无论来自模型、同学还是网络。用 AI 工具实质性完成作业即违反荣誉守则。
  • 作业 quiz 为个人独立完成、闭卷。拿不准就问；大学层面的底线见斯坦福 Generative AI Policy Guidance。

无障碍与学业便利

因残障需要学业便利（academic accommodation）的学生，须向无障碍教育办公室（OAE）提出申请；已持有便利函的同学请尽早分享，以便与 OAE 合作排除参与障碍。

身心健康

遇到个人、学业或人际关系困扰可联系校园心理咨询服务 CAPS（电话 650-723-3785 或通过 Vaden 患者门户预约）。