Google DeepMind × Kaggle 十万美元竞赛全拆解:只能用一个模型,提交一个 zip 配置包,SWE-bench 式评测,12 小时预算跑完全部 issue。
gemma-4-31b-it-qat-w4a16-ct,不许换模型这场竞赛最大的特点是「锁得死」:模型唯一、提交物是一个配置包、代码执行被沙箱限制。红线是规则,蓝色是可选项。
gemma-4-31b-it-qat-w4a16-ct(31B · QAT 4-bit 权重量化 · 推理约 23GB 显存)。所有 agent 和子 agent 一律用它,禁止换成其它模型(社区吐槽点:26B MoE、12B 等更小的变体都不让用)。.safetensors 格式),放在 adapters/<名称>/ 下并在 yaml 里引用。可以一个都不带——纯配置参赛合法。run_command 共享文件系统、共扣同一预算;../ 路径穿越和符号链接一律禁止。agent.yaml 必须位于 zip 根目录,按 Google ADK Agent Config 规范编写,!include 相对路径解析。提交物会被编译成 ADK agent 投入评测。eval_config.yaml 里设置单任务限时。每个 issue:你的 agent 产出补丁 → 应用到该 issue 的代码仓库 → 跑该 issue 的验证测试。得分 = 通过验证测试的仓库百分比。这是纯 PASS/FAIL 指标,没有部分分。
你的 agent 配置(提示词 + 技能 + LoRA)被编译成 ADK agent 后运行;agent 在带 /workspace 的沙箱里操作仓库,最后用 submit_patch 提交 git diff HEAD。Kaggle 官方在 issue 上跑验证测试,不公示测试细节。
评测环境预置 7 个工具。常规文件操作之外,代码图谱三件套是这竞赛的隐藏分——主办方(含 Google 图神经网络团队 Bryan Perozzi)发布了一套仓库调用图 + 预计算 embedding 数据集,明显鼓励 GraphRAG 式导航。
提交物是配置包:提示词、技能、子 agent 编排、工具链。满分 60% 的功夫在 agent 设计(尤其把图谱三件套用好),LoRA 是加分项不是入场券——零训练参加合法。
全参微调是这个量级的算力黑洞(社区实测:B200 起步)。个人可行路线 = 消费卡上做 小规模 QLoRA/FSDP2(有人 5×3090 一周跑 200M token),其余精力all in 提示词与技能设计。Kaggle 的 4×L4 / TPU v5e-8 是免费算力备选。
主办方发了一套代码调用图 + embedding 数据集,论文赛道还单列「图推理」主题。会 GraphRAG 式仓库导航的队伍,在「逛大仓库」上会明显领先只会线性读文件的 agent——这是可以做出差异化的地方。