|
人工智能公司Anthropic宣布启动一项计划，旨在资助开发新型基准工具，用以评估人工智能模型的性能和影响，包括其自身的Claude等生成模型。 资助详情该计划将向能有效衡量AI模型先进能力的第三方组织支付费用。有兴趣的组织可以提交申请，Anthropic将滚动式评估这些申请。 提升AI安全领域Anthropic在其官方博客中表示，这些投资将提升AI安全领域，并为整个生态系统提供宝贵工具。目前，开发与安全相关的高质量评估具有挑战性，且需求远超过供应。 现有基准测试的不足现有的人工智能基准测试存在问题，无法准确反映普通人实际使用测试系统的情况。特别是那些在现代生成式AI出现之前发布的基准测试，其有效性受到质疑。 Anthropic的解决方案Anthropic提出的解决方案是创建具有挑战性的新基准，重点关注AI安全和社会影响。公司特别要求测试模型在执行网络攻击、增强大规模杀伤性武器、操纵或欺骗人们等任务的能力。 国家安全和风险评估Anthropic表示，它致力于开发一种预警系统，用以识别和评估与国家安全和国防有关的AI风险，尽管具体内容尚未透露。 支持端到端任务的研究Anthropic的新计划还旨在支持基准和端到端任务的研究，探索AI在辅助科学研究、多语言交流、减少偏见和自我审查毒性方面的潜力。 新平台和专家互动为了实现这些目标，Anthropic设想了一个新的平台，让主题专家能够开发自己的评估，并进行涉及数千名用户的模型大规模试验。公司已聘请了一名全职协调员，并可能购买或扩展有潜力的项目。 资金和项目互动Anthropic提供一系列融资方案，根据项目需求和阶段而定。团队将有机会与Anthropic的前沿红队、微调、信任和安全等相关领域的专家互动。 Anthropic的商业野心与挑战尽管Anthropic支持新AI基准的努力值得称赞，但考虑到其在AI竞赛中的商业野心，可能难以完全信任。Anthropic希望其资助的评估符合其AI安全分类，这可能会影响申请人对“安全”或“有风险”AI的定义。 AI社区的不同观点AI社区中有些人可能对Anthropic提到的“灾难性”和“欺骗性”AI风险提出异议，认为几乎没有证据表明现有AI具有短期内毁灭世界的能力。这些专家认为，对“超级智能”的讨论可能会转移对当前AI监管问题的关注。 推动行业标准Anthropic希望其项目能成为推动全面AI评估成为行业标准的催化剂。这一使命与许多开放的、企业无关的AI基准创建努力相一致。然而，这些努力是否愿意与最终忠诚于股东的AI供应商合作，还有待观察。
| 
