Crowdworks a annoncé le 4 avoir achevé le « Projet de recherche sur les approches pratiques de l'évaluation de la fiabilité de l'IA générative » hébergé par la Telecommunications Technology Association (TTA). Grâce à ce projet, Crowdworks a renforcé son expertise et sa compétitivité dans l’évaluation de la fiabilité de l’IA.
L’objectif principal de ce projet de recherche était de développer et de démontrer une norme-cadre capable d’évaluer systématiquement la fiabilité et la sécurité de l’IA générative. Crowdworks est responsable du développement de l'évaluation de la fiabilité, de la validation et du matériel pédagogique du LLM (Large Language Model) et a mené des évaluations ciblant trois modèles LLM développés par des entreprises nationales.
Crowdworks a d’abord utilisé l’ensemble de données pour analyser les modèles de réponse des trois modèles LLM, identifié les facteurs de risque potentiels pour chaque modèle, puis conçu un scénario d’attaque. Nous avons testé les modèles de différentes manières à travers différentes invites, complété les scénarios et exploré intensivement les vulnérabilités de chaque modèle.
De plus, Crowdworks a effectué des évaluations automatiques à l’aide de modèles d’IA et des évaluations approfondies de l’équipe rouge à l’aide de personnel expert. L'équipe rouge était composée d'experts LLM sélectionnés parmi les 600 000 experts en données de Crowdworks et a mené une évaluation approfondie basée sur une compréhension détaillée.
Dans le processus d'évaluation, les critères d'évaluation des risques de l'IA tels que la violence, l'illégalité, l'irrationalité, le non-factuel, le trompeur et le contraire à l'éthique sont appliqués pour analyser quantitativement et qualitativement le risque de réponse de chaque modèle, et la fiabilité et la sécurité du modèle sont vérifiées à partir de divers angles pour l'améliorer. La question a été déduite.
Grâce à ce projet, Crowdworks a acquis une expertise en matière d’évaluation de la fiabilité de l’IA et prévoit de l’utiliser comme base pour faire progresser les services d’évaluation de la fiabilité de l’IA afin de réduire les risques liés à l’IA dans les entreprises. En outre, Crowdworks prévoit d’étendre cette année son activité d’évaluation de la fiabilité des services d’IA dans divers secteurs et de renforcer son leadership dans le domaine de la fiabilité et de la sécurité de l’IA.
Kim Woo-seung, PDG de Crowdworks, a déclaré : « Le cadre d'évaluation de la fiabilité de l'IA développé grâce à ce projet de recherche TTA est devenu la norme pour l'évaluation de la fiabilité de l'IA générative nationale », et « basé sur un réseau de 600 000 experts en données et un Système d'évaluation, IA « En tant qu'entreprise leader dans le domaine de l'évaluation de la fiabilité et de la sécurité, nous serons leaders sur le marché et aiderons de nombreuses entreprises à développer des services d'IA sûrs et fiables », a-t-il déclaré.
- Voir plus d'articles connexes
You must be logged in to post a comment.