← 返回 Tony's Lab
Tony's Lab · Third-party Model Inspection
意图路由模型体检报告
报告编号 IR-20260830-001 · 检验日期 2026-08-30 · 检验员 Tony
检查概览Summary
第三方独立实测：53 条人工用例直连公益 API，覆盖全部 21 个意图 + 短指令 / 中英混合 / 贴代码 / 越界等雷区。结论与作者宣称的 70–75% 完全吻合，未虚标。
模型卡自报：主评测集 gold n=695 准确率 69.9%，独立短指令集 n=360 为 78.3%。本次实测 71.7% 落在两者之间，可信。
检验方法Method
每个意图准备 2–3 条典型请求（中/英/混合），另加 10 条雷区用例（超短指令、模糊请求、闲聊越界）。逐条调用 POST /v1/intent，以 route.intent 为判定结果。
判定标准与作者生产用法一致：看路由决策（含 short_text 拒绝），不只看 top1 概率。
科室检验结果Per-intent Results
✅ 通过 ⚠ 部分通过 ❌ 挂科（该意图测例全错）
A编码科 · Coding（9 项）
| 意图 | 领域 | 结果 | 通过 |
|---|
| code_authoring写代码 | coding | ⚠ | 3/4 |
| code_modification改代码 | coding | ⚠ | 4/5 |
| code_repair修 bug | coding | ⚠ | 2/3 |
| code_review审查代码 | coding | ✅ | 2/2 · 0.86–0.87 |
| code_explanation解释代码 | coding | ⚠ | 3/4 |
| test_generation写测试 | coding | ✅ | 2/2 · 0.86 |
| code_search搜代码 | coding | ✅ | 2/2 · 0.90 |
| architecture_consultation架构咨询 | coding | ❌ | 1/2 |
| dependency_management依赖管理 | coding | ✅ | 2/2 · 0.84 |
B运维科 · Ops（8 项）
| 意图 | 领域 | 结果 | 通过 |
|---|
| deployment部署 | ops | ✅ | 2/2 · 0.94 |
| infrastructure_provisioning开机器 | ops | ✅ | 2/2 · 0.73–0.76 |
| monitoring_query查监控 | ops | ✅ | 2/2 · 0.86 |
| incident_response事故响应 | ops | ✅ | 2/2 · 0.95 |
| pipeline_operation流水线 | ops | ✅ | 2/2 · 0.80 |
| config_change配置变更 | ops | ❌ | 1/2 |
| security_operation安全操作 | ops | ❌ | 0/2 |
| log_analysis日志分析 | ops | ❌ | 1/2 |
C通用控制科 · General Control（3 项）
| 意图 | 领域 | 结果 | 通过 |
|---|
| context_specification上下文指定 | ctrl | ❌ | 1/2 |
| workflow_control工作流控制 | ctrl | ❌ | 1/2 |
| general_inquiry通用咨询 | ctrl | ❌ | 1/3 |
D越界科 · Fallback（1 项）
| 意图 | 领域 | 结果 | 通过 |
|---|
| out_of_scope越界拦截 | oos | ❌ | 2/4 |
模型卡自认的弱项全部复现：短指令准确率 0.650（<100 字符）、pipeline_operation F1≈0、general_inquiry 召回 0.21、越界样本仅 7 条支撑不足。
异常项明细Miscarriages
15 条翻车用例中最有代表性的 10 条，按错误模式归类。
①强动词误导——「改」「检查」把请求吸到改代码 / 审代码
| 输入 | 期望 → 实际 | 备注 |
|---|
| 扫描一下这个 Docker 镜像有没有漏洞 | security_operation → code_review 0.86 | 「检查漏洞」样本与 code_review 撞车 |
| 给这个接口加上权限校验 | security_operation → code_modification 0.76 | 「加」被理解成改代码 |
| 把日志级别改成 DEBUG | config_change → code_modification 0.77 | 「改」字权重过大 |
| 分析一下这份 error log 找规律 | log_analysis → code_review 0.44 | 日志分析训练样本太少 |
②越界漏拦——闲聊与咨询分不清
| 输入 | 期望 → 实际 | 备注 |
|---|
| 今天北京天气怎么样 | out_of_scope → general_inquiry 0.76 | 天气请求未被拦截 |
| 晚上吃啥好呢 | out_of_scope → general_inquiry 0.79 | 闲聊未被拦截 |
| 什么是微服务架构 | general_inquiry → architecture_consultation 0.83 | 技术概念问答被拉进架构科 |
③短指令误拒——宁可拒了也不猜
| 输入 | 期望 → 实际 | 备注 |
|---|
| 改一下 | code_modification → out_of_scope | short_text 规则拒绝 |
| 报错了 | code_repair → out_of_scope | short_text 规则拒绝 |
| 你好 | general_inquiry → out_of_scope | short_text 规则拒绝 |
④概念混淆
| 输入 | 期望 → 实际 | 备注 |
|---|
| 这个系统现在要不要引入消息队列 | architecture_consultation → monitoring_query 0.87 | 被「消息/队列」带偏到监控 |
| def foo(x): return x * 2 + 1 | code_explanation → code_modification 0.65 | 裸贴代码倾向理解为修改 |
三个关键发现Findings
1运维核心五科识别得异常准，省钱场景立竿见影
部署 / 查监控 / 事故响应 / 开机器 / 流水线 全部 2/2 通过，置信度 0.73–0.95。这些恰恰是网关路由里最该省钱的请求——分流到工具链直接执行，不走大模型。
2安全科挂科：security_operation 测例全错，config_change 半错
「扫描漏洞」被吸到 code_review，「加权限校验」被当成改代码，「改 DEBUG」被当成改代码。模型卡弱类列表早已预告（security 训练样本仅 174 条，全 21 类倒数）。指望它识别安全请求会漏。
3短指令「宁可拒了也不猜」——安全特性，但会误伤
「改一下」「报错了」等超短请求被 short_text 规则直接丢进 out_of_scope（rejected=true）。对路由场景是安全兜底，不会错路由；但一句话命令密集的流量会被误伤。
简单科室干得漂亮，复杂科室（安全 / 配置 / 越界）挂错号。生产接入前，门口必须自己加个导诊。
Rx 01直接信高置信意图直接分流：deployment / monitoring_query / incident_response / code_search / pipeline_operation，这五科实测可靠，省钱立竿见影。
Rx 02必须做处理 route.rejected：rejected=true 时退回通用 LLM 路径，不要拿 out_of_scope 当真意图。
Rx 03必须做弱类关键词兜底：命中「漏洞 / 权限 / 密钥 / 审计」强制走安全复查；「日志 / 配置」类请求做二次校验。
Rx 04注意分数当排序，别当概率：模型过度自信，65.6% 的错误判断置信度 ≥99%。别用 top1 分数做阈值拦截。
Rx 05合规CC BY-NC 4.0 非商用许可：商用项目直接排除；内部研究 / 个人自用无碍。
附录 · 资源Sources
原帖V2EX「奇思妙想」板块 · 「垂直领域 Coding 场景意图识别模型开放权重与 API 使用」（作者 sxueck，2026-08）
免责声明：本报告为第三方独立实测，用例由人工设计、结果逐条记录，可能与你的真实流量分布不同。模型及其评测数据版权归原作者，页面设计 © Tony's Lab。数据采集于 2026-08-30。