X 每日精华

上期讨论 Jev 把分类和路由从生成模型中拆出来；今天的新增尝试，是让它判断 Agent 是否真正完成目标。elvis 报告，他已为自建 harness 的 /goal 功能接入 Jev，替代原先较昂贵的推理模型。

这里有一条必须跟上的更正：首帖描述为每轮检查，随后作者明确澄清，当前只在 Agent 声称完成时检查；每隔几个步骤检查仍是准备测试的想法。他也表示尚需建立基准，因此不能把这项尝试写成持续验证已经有效提升长任务成功率。

另一份业务实测提供了不同权衡。YC 用三百多条 tutti 实际数据比较 Jev 与线上 Haiku，报告准确率没有差异；虽然 Jev 有速度和成本优势，但 Haiku 附带的解释便于人工检查，因此暂时不足以支持迁移。这些解释未必正确，却是工作流中真实存在的复核材料。

meng shao 对 TypeSafe Skills 的整理补充了一条重要边界：Choice、Score 的置信度反映分布集中程度，并不等于正确率。输出落在合法选项里，也可能选错。

用 Jev 给工具调用打分、删除不相关内容的“即时压缩”演示，出现了可复现评测层面的质疑。Teknium 报告，在其公开压缩评测中，该实现实际上删除了全部工具调用，退化成无需模型的规则。他指出，反复执行后可删除内容会越来越少，同时历史改写会破坏缓存，抬高后续输入成本。随后他特别澄清，批评针对这套策略和仓库，并非否定 Jev 的所有用途；本期材料也不包含独立复跑结果。

SoL-Pi 的论文转述恰好给出另一种处理方式：决定压缩前，先估计未来节省能否偿还缓存重写成本；大输出归档后只保留句柄与短摘录；便宜模型提炼日志时，引用必须能回到原始记录；无需中间判断的编辑与测试可以合并调用。

meng shao 摘录的结果称，在 EdgeBench 的 51 个长任务上，SoL-Pi 相对基线减少约 49% 的 token 流量、约三分之一的 API 成本，同时保留约 94% 的分数。保留 94% 不能改写成完全不掉分。 转述还称，候选机制冻结后才评估留出任务，以减少搜索对评测的过拟合。

Google 官方介绍的 Android Bench 2.0 将评测扩展到多日工程工作，包括从零构建应用和跨平台迁移。今天的详细转述称，新赛道包含 30 个任务，使用 Signal、Bitwarden、WordPress 等真实应用作为工程场景，并评估“模型＋Coding Agent”的组合。

按这份转述，最高通过率为 28%，困难集中在跨平台转换与架构迁移。一个醒目的例子是：GPT-6 Astra 在 Habo 迁移任务上的某项完成度达到 99%，却没有一次通过验收。材料没有给出该完成度的完整定义，因此不能把它理解为“只剩 1% 工作”；它至多说明，中间进度指标与最终功能验收可能相距很远。

这也不是单纯的模型排行榜：模型配套的工具、执行环境和 harness 都参与结果，不能将组合表现全部归因于模型。

LlamaIndex 的 Jerry Liu 宣布，ParseBench 已评估一百多种文档解析方案，覆盖前沿与开放权重 VLM、OCR 工具及开源解析器。meng shao 的整理进一步描述了评测方法：使用 2,000 页企业文档、两轮人工校验和 169,011 条确定性规则，从表格结构、图表抽取、内容忠实度、格式语义与视觉定位五个维度评分，不使用 LLM 裁判。

按该整理，LlamaParse 系列占据榜单头部；更有选型价值的是分项差异：不少方法在图表抽取上失分严重，部分 VLM 内容抽取得分较强，但视觉定位薄弱，一些专用解析器则表现相反。

这是一家同时销售解析产品的团队发布的基准。确定性评分便于复现，但不会自动消除文档选择、规则覆盖和五项等权平均带来的偏向。材料中“纯文字抽取已经解决”的判断，也不能从该数据集直接推广到所有语言、扫描质量和文档类型。

Zuckerberg 宣布向开发者开放 Muse 连接器：开发者提供 API，Muse 提供 Agent、浏览器及用户需求上下文。Meta 团队成员进一步说明，Muse Spark 会在脚本与点击操作之间选择，以降低延迟。这是产品方对机制的描述，尚不是跨服务成功率的独立证明。

Peter Yang 的使用记录让这个方向具体了一些：他认为代打客服电话、等待接通并以用户代理身份沟通，是最有价值的功能；他也报告了两项限制——未能成功让 Muse 在通话中途拉自己入线，主线程讨论多个话题后有时会混淆上下文。帖子列出的其他工作流有些是尝试建议，不能全部视为已成功完成。

Aaron Levie 据此提出，服务需要开始争取 Agent 的选择与调用。这个判断与连接器开放有自然联系，但“下一代 App Store”仍是行业预期；当前材料没有交代连接器排序、收费、准入和分成机制。

Meta 工程团队分享了内部“领域第二专家”系统，目标是让组织成员复用资深专家知识。官方明确了两项设计：将 Agent 知道什么与如何推理分开，以及把专家反馈转成经过验证的更新，无需重新训练模型。

AIGCLINK 的详细转述补充了实现路径：知识文件记录立场、术语、适用范围和依赖，独立的 recipes 规定分析步骤；高频知识常驻，低频材料按需检索。专家指出错误后，系统先诊断是知识缺口、流程缺陷还是真正的歧义，再生成最小修改，经过盲重放、回归测试、独立对抗审查和专家复核后落地。

这份转述比“自动自我升级”更准确地展现了边界：更新对象是可审查的知识与流程，专家仍参与最终确认。 遇到缺乏证据或真正有歧义的问题，继续升级给人，而非要求 Agent 总能自行修好。

此前实验室承诺让外部评估者长期进入内部，今天的材料出现了具体合作方与投入计划。Anthropic 宣布与 Accenture 合作开展前沿 AI 的独立评估，并表示双方各自预计在未来五年投入至少 10 亿美元建设相关能力。这是投资预期与合作公告，不能视为资金已经投入或独立评估已经完成。

争议随之落到资助与商业关系。Derya Unutmaz 转述读者附注，质疑 Anthropic 将直接资助评估工作，且双方已有模型部署合作。所给材料不含完整合同与附注核验记录，因此这些具体关系应保留转述归属，也不能据此断言评估结果必然失真。

真正尚未回答的是：评估方能访问什么，能否自行选题，负面结论能否独立发表，以及资助方是否有权阻止披露。这些安排比公告中的“独立”二字更能决定评估价值。