← 返回 TONY'S LAB
KAGGLE FEATURED · GOOGLE DEEPMIND // 调研报告

把 31B 开源模型
训成修 bug 的 agent

Google DeepMind × Kaggle 十万美元竞赛全拆解:只能用一个模型,提交一个 zip 配置包,SWE-bench 式评测,12 小时预算跑完全部 issue。

$ kaggle comp submit gemma-4-dev-agent ▍
Prize
$100,000 主赛 $65K + 论文 $35K
Deadline
报名 11-25 · 最终提交 12-02 (UTC)
Model
gemma-4-31b-it-qat-w4a16-ct 唯一可选
Submit
submission.zip · agent.yaml + 可选 LoRA
Eval
PASS/FAIL 补丁跑验证测试,通过率计分
Budget
12 小时 完成全部任务(含沙箱搭建)
PASS/FAIL
submission.zip — EVAL TARGET▼ zip
submission.zip # 你的全部提交物
├── agent.yamlREQUIRED # 根 agent 配置(ADK 规范)
├── configs/OPT # 采样参数
│   └── sampling.yaml
├── prompts/OPT # 系统提示词
│   └── system.md
├── sub_agents/OPT # 子 agent
│   └── code_analyzer.yaml
├── adapters/OPT # 微调 LoRA(safetensors)
│   └── main_lora/adapter_model.safetensors
└── skills/OPT # ADK 技能包
     └── repo_navigation/SKILL.md
 
# 评测:补丁应用 → 验证测试 → PASS / FAIL
# 预算:12:00:00 ▍
00

一句话速览

TL;DR
  • 这场竞赛要你把 Gemma 4(31B,4-bit 量化)后训练成能自己逛仓库、修真实 bug 的编码 agent,目标跑在消费级硬件上
  • 模型锁死:所有 agent / 子 agent 只能用 gemma-4-31b-it-qat-w4a16-ct,不许换模型
  • 提交物是 一个 zip:agent 配置(yaml)+ 提示词 + 技能 + 可选的 LoRA 适配器——不微调也能参赛
  • 评分 = SWE-bench 式 PASS/FAIL:agent 产出补丁 → 应用到仓库 → 跑验证测试 → 通过率计分
  • 评测环境给了 代码图谱三件套(调用图 / 相似检索 / 子图提取),拼的是 agent 工程,不只是训练
  • 当前 3888 人报名 / 315 队 / 488 次提交,还剩 2 个月
01

时间线

TIMELINE · UTC
2026-09-23
开始
竞赛开放,规则已可接受
2026-11-12
论文截止(可选)
论文赛道 $35K,须单独报名
2026-11-25
报名 / 组队截止
必须在此之前接受规则
2026-12-02
最终提交
所有 deadline 均为 23:59 UTC
02

奖金结构

PRIZES · $100,000
主赛 · Developer Agent(预测赛)
$65,000
🥇 1st$37,000
🥈 2nd$18,000
🥉 3rd$10,000
论文赛道(可选,须独立报名)
$35,000
主题PEFT/RL 调优 · 代码图谱 · 评测基准 · 图推理
03

硬约束 & 提交格式

RULES

这场竞赛最大的特点是「锁得死」:模型唯一、提交物是一个配置包、代码执行被沙箱限制。红线是规则,蓝色是可选项。

LOCK模型锁定:只能使用 gemma-4-31b-it-qat-w4a16-ct(31B · QAT 4-bit 权重量化 · 推理约 23GB 显存)。所有 agent 和子 agent 一律用它,禁止换成其它模型(社区吐槽点:26B MoE、12B 等更小的变体都不让用)。
LOOPLoRA 可选:每个 agent 可以挂不同的 LoRA 适配器(.safetensors 格式),放在 adapters/<名称>/ 下并在 yaml 里引用。可以一个都不带——纯配置参赛合法。
BOX沙箱隔离:技能脚本跑在竞赛提供的 持久 Docker 容器里,与 run_command 共享文件系统、共扣同一预算;../ 路径穿越和符号链接一律禁止。
ADK配置规范:agent.yaml 必须位于 zip 根目录,按 Google ADK Agent Config 规范编写,!include 相对路径解析。提交物会被编译成 ADK agent 投入评测。
TIME时间预算:总时限 12 小时完成全部任务的补丁(含沙箱搭建时间,不含补丁验证);可在 eval_config.yaml 里设置单任务限时。
04

评测方式

EVALUATION

Scoring · SWE-Bench 式

每个 issue:你的 agent 产出补丁 → 应用到该 issue 的代码仓库 → 跑该 issue 的验证测试。得分 = 通过验证测试的仓库百分比。这是纯 PASS/FAIL 指标,没有部分分。

补丁被应用,验证测试全过 补丁失败 / 测试挂掉 / 超时

Evaluator

你的 agent 配置(提示词 + 技能 + LoRA)被编译成 ADK agent 后运行;agent 在带 /workspace 的沙箱里操作仓库,最后用 submit_patch 提交 git diff HEAD。Kaggle 官方在 issue 上跑验证测试,不公示测试细节。

执行预算:12 小时跑完全部任务 12:00:00
# 12 格 = 12 小时,含沙箱搭建;补丁验证时间不计入。可设单任务限时。
05

内置工具

TOOLKIT

评测环境预置 7 个工具。常规文件操作之外,代码图谱三件套是这竞赛的隐藏分——主办方(含 Google 图神经网络团队 Bryan Perozzi)发布了一套仓库调用图 + 预计算 embedding 数据集,明显鼓励 GraphRAG 式导航。

run_command(cmd)沙箱里执行 shell 命令(/bin/bash -c,工作目录 /workspace)
submit_patch()暂存未跟踪文件意图并捕获 git diff HEAD 提交补丁
get_status()查询实时预算消耗与补丁状态
read_file / edit_file / write_file1 起始行切片读取 · 替换字符串编辑 · 建目录写文件
get_code_neighbors(node)GRAPH查某符号在仓库调用图中的上下游邻居
search_similar_code(q)GRAPH在预计算 embedding 里取 top-k 语义相似代码节点
get_code_subgraph(nodes)GRAPH按符号列表提取诱导子图(节点+连边)
06

社区声音

REDDIT · R/LOCALLLAMA
u/NineThreeTilNow · 13h
31B 这个目标对「竞赛」来说太大了:全参微调 8k 上下文要 ~117GB/卡(B200/B300 级别),单卡训得动的人没几个。# 算力门槛是最大槽点
u/Aggravating-Push-207 · 9h
官方意图应该就是让你用 Kaggle 的 4×L4 或 TPU v5e-8 训练——但用起来很痛苦。# 官方算力线索
u/Avezn · 10h
奖池 $65K,跑 GLM 5.3 / Qwen 2.4T 的硬件要 $94K——这竞赛该改名叫 「Get Bankrupt Competition」 😂
u/teachersecret · 13h
整个量化版 31B 要 ~23GB 显存,24GB 卡做这事很勉强;他们还故意堵死了 26B MoE 等更亲民的模型。换 26B-A4B 或 diffusion 版 会好玩得多。
07

我的判断

TONY'S TAKE
1

这是 agent 工程赛,不是训练赛

提交物是配置包:提示词、技能、子 agent 编排、工具链。满分 60% 的功夫在 agent 设计(尤其把图谱三件套用好),LoRA 是加分项不是入场券——零训练参加合法。

2

个人选手的最优路线:QLoRA + 配置

全参微调是这个量级的算力黑洞(社区实测:B200 起步)。个人可行路线 = 消费卡上做 小规模 QLoRA/FSDP2(有人 5×3090 一周跑 200M token),其余精力all in 提示词与技能设计。Kaggle 的 4×L4 / TPU v5e-8 是免费算力备选。

3

图谱工具是隐藏分

主办方发了一套代码调用图 + embedding 数据集,论文赛道还单列「图推理」主题。会 GraphRAG 式仓库导航的队伍,在「逛大仓库」上会明显领先只会线性读文件的 agent——这是可以做出差异化的地方。