快讯 · 台北时间

OpenAI发布LifeVal基准测试,评估模型处理日常事务的能力

一句重點:LifeVal为OpenAI提供了一把新标尺,用来衡量模型能否帮人处理日常琐事。

發生什麼事

@OpenAI发布的基准测试LifeVal并非刚刚开发出来。OpenAI表示,过去一年一直用它评估并改进自家模型处理日常事务的表现。测试题目参考数千名ChatGPT用户对个人助理的期待,范围涵盖托儿服务、政府服务和个人财务。测试设计及改进效果均为官方说法,我们没有实测(🗣 自述)。

01参考来源

  • @OpenAI:OpenAI官方发布LifeVal基准测试,贴文附有官网LifeVal页面链接