クラウドワークス、「生成型AI信頼性評価の実用的アプローチ案研究事業」完了

クラウドワークスは韓国情報通信技術協会(TTA)が主管した「生成型AI信頼性評価の実用的アプローチ案研究事業」を完了したと4日明らかにした。今回の事業を通じて、クラウドワークスはAI信頼性評価に対する専門性と競争力を強化することになった。

今回の研究事業の主な目標は、生成型AIの信頼性と安全性を体系的に評価できるフレームワーク標準を開発し、これを実証することであった。クラウドワークスはLLM（大型言語モデル）信頼性評価実証および教育資料の開発を担当し、国内企業が開発した3つのLLMモデルを対象に評価を進めた。

クラウドワークスはまずデータセットを活用して3つのLLMモデルの応答パターンを分析し、各モデル別の潜在的危険因子を把握した後、攻撃シナリオを設計した。さまざまなプロンプトでモデルを多面的にテストし、シナリオを補完し、各モデルの脆弱性を集中的に探索しました。

また、クラウドワークスはAIモデルを活用した自動評価と専門人材によるレッドチームの深化評価を並行した。レッドチームは、クラウドワークスの60万人のデータ専門家プールでLLM専門家を選抜して構成し、詳細な理解に基づいて深化評価を進めた。

評価過程では、暴力、違法、不合理、非事実、誤解、非倫理などのAIリスクも評価基準を適用し、各モデルの応答リスクを定量的、定性的に分析し、モデルの信頼性と安全性を多角的に検証して改善事項を導き出した。

今回の事業を通じて、クラウドワークスはAI信頼性評価の専門性を確保し、これを基に企業向けAIリスクを減らすためのAI信頼性評価サービスを高度化する計画だ。また、クラウドワークスは今年、様々な産業群にわたってAIサービスの信頼性評価事業を拡大し、AIの信頼性と安全性分野でリーダーシップを強化する予定だ。

キム・ウスンクラウドワークス代表は「今回のTTA研究事業を通じて開発されたAI信頼性評価フレームワークは国内生成型AI信頼性評価の基準となった」とし、「60万人のデータ専門家ネットワークと検証された評価体系に基づいて、AI信頼性と安全性評価分野で先導企業として市場をリーディングし、多くの企業が安全で信頼できるAIサービスを開発できるように支援する」と話した。

• 関連記事をもっと見る