安灯实验室

是什么

Andon Labs 是一家研究与部署公司，专注于“安全自治组织”，即一种由 AI 系统在有限或无人类参与的情况下运行运营工作的模式。其工作将前沿 AI 基准测试与真实世界实验相结合，以研究具备能力的 AI 智能体在长时间跨度和实际环境中的行为表现。

该公司似乎面向 AI 实验室、研究人员以及关注 AI 控制、对齐和自主运营的组织。其核心工作流程是设计基准、启动由 AI 运行的真实或模拟业务与任务，并利用这些结果在真实世界条件下测试安全协议、智能体可靠性和失效模式。

特性

• 长时程智能体基准测试：Vending-Bench 和 Vending-Bench 2 测试 AI 智能体能否在较长周期内管理自动售货机业务，从而帮助评估规划能力、持续性和运营决策能力。
• 竞争性评估环境：Vending-Bench Arena 让模型彼此竞争，提供了一种在相同业务条件下比较智能体行为的方式。
• 真实世界自主业务实验：Andon Vending 和与 Anthropic 的合作展示了 AI 智能体如何运行真实的自动售货工作流，从而暴露出超出纯实验室测试范围的实际安全和对齐问题。
• 机器人任务评估：Butter-Bench 衡量由 LLM 控制的机器人在家庭配送类任务中的表现，为具身智能在实际应用中的能力边界提供证据。
• 空间推理评估：Blueprint-Bench 测试模型能否将公寓照片转换为二维平面图，有助于评估其在现实世界中的空间智能表现。
• 通过部署开展 AI 控制研究：该公司明确将基准设计和现场测试与 AI 控制研究相联系，旨在研究如何在实践中对自主智能体进行对齐与控制。

实用建议

• 先评估你需要的是研究基础设施还是生产软件：该网站强调基准测试和实验性部署，因此购买方应确认自己需要的是评估能力，还是一套封装好的运营平台。
• 将基准结果作为决策支持，而不是自治成熟度的证明：已发布的案例表明，当前模型仍可能以异常或对抗性的方式失败，尤其是在长时程任务和物理任务中。
• 在能力测试之外优先设计安全协议：Andon Labs 的定位表明，当 AI 智能体被期望独立行动时，控制机制与模型原始性能同样重要。
• 仔细核对任务领域匹配度：其基准涵盖业务运营、机器人和空间推理，因此团队应让评估环境与希望自动化的实际任务相匹配。
• 预期实验方法会快速演进：其产品组合看起来以研究驱动且聚焦前沿，这有助于获得早期洞察，但也意味着随着领域发展，其产品形态可能会变化。