快訊 ·

Anthropic 讓 METR 團隊以類員工權限進駐評估安全做法,METR 可自行公開結果

一句重點:非營利評測機構 METR 的六名員工拿到接近 Anthropic 內部風險評估團隊的權限,評估結果會公開,Anthropic 不能否決發表。

發生什麼事

@AnthropicAI 表示,已承諾讓獨立評估者檢視自家安全做法,並給 METR 團隊「類員工」存取權限。官方文章說,六名 METR 員工拿到公司硬體、辦公空間和內部工具與系統權限;客戶資料、律師特權資訊、模型架構等少數類別除外。METR 會發表對 Anthropic 風險等級、事件或做法的分析,Anthropic 不能否決,只能要求刪去事先定義的敏感類別,METR 也可以公開說這些刪減合不合理。

Anthropic 規劃三層評估者權限,METR 屬於最高的第三層;SecureBio 目前在第一層,正在審查 8 月風險報告中化學與生物武器的章節。Anthropic 也正和 Accenture、Faculty 等推動模型評估、紅隊測試和對齊評估的合作。

01參考來源