AI 테크 기업 크라우드웍스가 메리츠화재의 AI 에이전트 성능 평가 사업을 수주했다고 30일 밝혔다.
이번 사업은 메리츠화재가 개발한 설계사 영업 지원 AI 서비스의 성능을 실제 업무 환경에서 평가하고, 품질과 안정성을 높여 서비스 고도화를 지원하는 것을 목표로 한다. 해당 AI 서비스는 보험 약관, 보장 내용, 보험 용어 등을 학습해 설계사들의 보험 설계 업무를 지원한다.
크라우드웍스는 이번 프로젝트에서 AI 에이전트 응답 평가를 중심으로 수행하며, 전문가 기반 평가 데이터셋을 구축해 응답 정확성, 과업 성공률, 신뢰도 등을 종합적으로 검증할 계획이다. 평가 과정에는 크라우드웍스가 자체 개발한 AI 평가·검증 솔루션 ‘알피 이밸류에이션(Alpy Evaluation)’이 활용된다. 이 솔루션은 LLM, RAG, AI 에이전트 등 다양한 영역에서 성능을 평가할 수 있으며, 유해 콘텐츠 제작 및 편향성 방지 기능도 포함하고 있다.
특히 보험업 맞춤형 평가 데이터셋 구축에 초점을 맞춰, 보험업 경력을 가진 데이터 전문가들이 실제 설계사 상담 시나리오를 기반으로 질의응답 데이터를 설계한다.
김우승 크라우드웍스 대표는 “AI 에이전트 성능 평가는 로직 기술력보다 평가용 질문 설계의 정교함이 핵심”이라며, “보험 도메인 특화 데이터와 자동화된 평가 시스템을 결합해 금융권 AI 서비스의 품질관리 수준을 향상시키겠다”고 말했다.
- 관련 기사 더 보기
Crowdworks wins contract to evaluate Meritz Fire & Marine Insurance's AI agent performance.
AI tech company Crowdworks announced on the 30th that it had won a contract for Meritz Fire & Marine Insurance's AI agent performance evaluation project.
This project aims to evaluate the performance of Meritz Fire & Marine Insurance's AI-powered sales support service for insurance designers in a real-world work environment and support service advancement by improving quality and stability. This AI service will learn insurance terms, coverage, and terminology to support designers' insurance design work.
For this project, Crowdworks will focus on evaluating AI agent responses. It plans to build an expert-based evaluation dataset to comprehensively verify response accuracy, task success rates, and reliability. The evaluation process will utilize Crowdworks' proprietary AI evaluation and verification solution, Alpy Evaluation. This solution can evaluate performance across a variety of areas, including LLM, RAG, and AI agents, and also includes features to prevent the creation of harmful content and bias.
Specifically focused on building customized evaluation datasets for the insurance industry, data experts with insurance industry experience design Q&A data based on actual designer consultation scenarios.
Kim Woo-seung, CEO of Crowdworks, said, “When evaluating AI agent performance, the sophistication of the evaluation question design is more important than the logic technology,” and added, “We will improve the quality management level of AI services in the financial sector by combining insurance domain-specific data with an automated evaluation system.”
- See more related articles
クラウドワークス、メリッツファイアーAIエージェント性能評価事業受注
AIテック企業クラウドワークスがメリッツ火災のAIエージェント性能評価事業を受注したと30日明らかにした。
今回の事業は、メリッツ火災が開発した設計会社営業支援AIサービスの性能を実際の業務環境で評価し、品質と安定性を高めてサービス高度化を支援することを目指す。当該AIサービスは、保険約款、保障内容、保険用語などを学習し、設計会社の保険設計業務を支援する。
クラウドワークスは今回のプロジェクトでAIエージェントのレスポンス評価を中心に行い、専門家ベースの評価データセットを構築し、レスポンスの正確性、課題の成功率、信頼性などを総合的に検証する計画だ。評価過程には、クラウドワークスが独自に開発したAI評価・検証ソリューション「アルピー・エバリュエーション（Alpy Evaluation）」が活用される。このソリューションには、LLM、RAG、AIエージェントなど、さまざまな分野でパフォーマンスを評価することができ、有害なコンテンツの制作と偏向防止機能も含まれています。
特に、保険業のカスタマイズされた評価データセットの構築に焦点を当てて、保険業のキャリアを持つデータ専門家が実際の設計者のカウンセリングシナリオに基づいてクエリ応答データを設計します。
キム・ウスンクラウドワークス代表は「AIエージェントの性能評価はロジック技術力より評価用の質問設計の精巧さが核心」とし、「保険ドメイン特化データと自動化された評価システムを組み合わせて金融圏AIサービスの品質管理水準を向上させる」と述べた。
- 関連記事をもっと見る
Crowdworks赢得合同，将评估Meritz Fire & Marine Insurance的AI代理绩效。
人工智能技术公司Crowdworks于 30 日宣布，该公司赢得了 Meritz Fire & Marine Insurance 的人工智能代理人绩效评估项目合同。
本项目旨在评估 Meritz Fire & Marine Insurance 的人工智能销售支持服务在真实工作环境中的性能，该服务面向保险设计师，并通过提升服务质量和稳定性来支持服务的发展。该人工智能服务将学习保险条款、承保范围和专业术语，以辅助设计师的保险设计工作。
在这个项目中，Crowdworks 将专注于评估人工智能代理的响应。公司计划构建一个基于专家评估的数据集，以全面验证响应的准确性、任务成功率和可靠性。评估过程将采用 Crowdworks 自主研发的人工智能评估和验证解决方案 Alpy Evaluation。该解决方案能够评估包括 LLM、RAG 和人工智能代理在内的多个领域的性能，并包含防止产生有害内容和偏见的各项功能。
专门针对保险行业构建定制评估数据集，具有保险行业经验的数据专家根据实际设计师咨询场景设计问答数据。
Crowdworks 首席执行官金宇胜表示：“在评估人工智能代理的性能时，评估问题设计的复杂性比逻辑技术更重要。”他还补充道：“我们将把保险领域的特定数据与自动化评估系统相结合，从而提高金融领域人工智能服务的质量管理水平。”
- 查看更多相关文章
Crowdworks remporte le contrat d'évaluation des performances des agents IA de Meritz Fire & Marine Insurance.
La société de technologie d'IA Crowdworks a annoncé le 30 avoir remporté un contrat pour le projet d'évaluation des performances des agents d'IA de Meritz Fire & Marine Insurance.
Ce projet vise à évaluer la performance du service d'assistance à la vente basé sur l'IA de Meritz Fire & Marine Insurance, destiné aux concepteurs d'assurances, en situation réelle d'utilisation, et à contribuer à son amélioration en optimisant sa qualité et sa stabilité. Ce service d'IA apprendra les termes, les couvertures et la terminologie des assurances afin d'assister les concepteurs dans leur travail.
Pour ce projet, Crowdworks se concentrera sur l'évaluation des réponses des agents d'IA. L'entreprise prévoit de constituer un ensemble de données d'évaluation, basé sur l'expertise de spécialistes, afin de vérifier de manière exhaustive la précision des réponses, les taux de réussite des tâches et la fiabilité. Le processus d'évaluation s'appuiera sur Alpy Evaluation, la solution propriétaire d'évaluation et de vérification d'IA de Crowdworks. Cette solution permet d'évaluer les performances dans divers domaines, notamment LLM, RAG et les agents d'IA, et intègre également des fonctionnalités visant à prévenir la création de contenus préjudiciables et de biais.
Spécialisés dans la création d'ensembles de données d'évaluation personnalisés pour le secteur des assurances, des experts en données possédant une expérience du secteur des assurances conçoivent des données de questions-réponses basées sur des scénarios de consultation de concepteurs réels.
Kim Woo-seung, PDG de Crowdworks, a déclaré : « Lors de l'évaluation des performances d'un agent d'IA, la sophistication de la conception des questions d'évaluation est plus importante que la technologie logique », et a ajouté : « Nous améliorerons le niveau de gestion de la qualité des services d'IA dans le secteur financier en combinant des données spécifiques au domaine de l'assurance avec un système d'évaluation automatisé. »
- Voir plus d'articles connexes
You must be logged in to post a comment.