Crowdworks 完成“生成式人工智能可靠性评估实用方法研究项目”

Crowdworks 4日宣布，完成了日本电信技术协会（TTA）主办的“生成式人工智能可靠性评估实用方法研究项目”。通过该项目，Crowdworks增强了其在人工智能可靠性评估方面的专业知识和竞争力。

该研究项目的主要目标是开发和展示一个可以系统地评估生成式人工智能的可靠性和安全性的框架标准。 Crowdworks负责开发LLM（大型语言模型）可靠性评估验证和教学材料，并针对国内公司开发的三种LLM模型进行了评估。

Crowdworks 首先使用数据集分析三个 LLM 模型的响应模式，确定每个模型的潜在风险因素，然后设计攻击场景。我们通过各种提示以各种方式测试模型，补充场景，并深入探索每个模型的漏洞。

此外，Crowdworks 还使用 AI 模型进行自动评估，并使用专家人员进行深入的红队评估。红队由从Crowdworks 60万数据专家库中选拔出来的法学硕士专家组成，在详细了解的基础上进行了深入评估。

在评估过程中，运用暴力性、非法性、非理性、非事实性、误导性、不道德等人工智能风险评估标准，定量和定性分析各模型的应对风险，并从多维度验证模型的可靠性和安全性。各个角度去改进，事情就这么衍生了。

通过该项目，Crowdworks获得了AI可靠性评估方面的专业知识，并计划以此为基础推进AI可靠性评估服务，以降低企业AI风险。此外，Crowdworks计划今年将其AI服务可靠性评估业务拓展至各个行业，并加强其在AI可靠性和安全性领域的领导地位。

Crowdworks首席执行官金宇承表示，“通过此次TTA研究项目开发的AI可靠性评估框架，已成为国内生成式AI可靠性评估的标准”，“基于60万名数据专家组成的网络和经过验证的评估系统、AI“作为可靠性和安全性评估领域的领先公司，我们将引领市场，支持众多企业开发安全可靠的AI服务。”他表示。

• 查看更多相关文章