クラウドワークス、メリッツファイアーAIエージェント性能評価事業受注

AIテック企業クラウドワークスがメリッツ火災のAIエージェント性能評価事業を受注したと30日明らかにした。

今回の事業は、メリッツ火災が開発した設計会社営業支援AIサービスの性能を実際の業務環境で評価し、品質と安定性を高めてサービス高度化を支援することを目指す。当該AIサービスは、保険約款、保障内容、保険用語などを学習し、設計会社の保険設計業務を支援する。

クラウドワークスは今回のプロジェクトでAIエージェントのレスポンス評価を中心に行い、専門家ベースの評価データセットを構築し、レスポンスの正確性、課題の成功率、信頼性などを総合的に検証する計画だ。評価過程には、クラウドワークスが独自に開発したAI評価・検証ソリューション「アルピー・エバリュエーション（Alpy Evaluation）」が活用される。このソリューションには、LLM、RAG、AIエージェントなど、さまざまな分野でパフォーマンスを評価することができ、有害なコンテンツの制作と偏向防止機能も含まれています。

特に、保険業のカスタマイズされた評価データセットの構築に焦点を当てて、保険業のキャリアを持つデータ専門家が実際の設計者のカウンセリングシナリオに基づいてクエリ応答データを設計します。

キム・ウスンクラウドワークス代表は「AIエージェントの性能評価はロジック技術力より評価用の質問設計の精巧さが核心」とし、「保険ドメイン特化データと自動化された評価システムを組み合わせて金融圏AIサービスの品質管理水準を向上させる」と述べた。

• 関連記事をもっと見る