AI 테크 기업 크라우드웍스가 메리츠화재의 AI 에이전트 성능 평가 사업을 수주했다고 30일 밝혔다. 이번 사업은 메리츠화재가 개발한 설계사 영업 지원 AI 서비스의 성능을 실제 업무 환경에서 평가하고, 품질과 안정성을 높여 서비스 고도화를 지원하는 것을 목표로 한다. 해당 AI 서비스는 보험 약관, 보장 내용, 보험 용어 등을 학습해 설계사들의 보험 설계 업무를 지원한다. 크라우드웍스는 이번 프로젝트에서 AI 에이전트 응답 평가를 중심으로 수행하며, 전문가 기반 평가 데이터셋을 구축해 응답 정확성, 과업 성공률, 신뢰도 등을 종합적으로 검증할 계획이다. 평가 과정에는 크라우드웍스가 자체 개발한 AI 평가·검증 솔루션 ‘알피 이밸류에이션(Alpy Evaluation)’이 활용된다. 이 솔루션은 LLM, RAG, AI 에이전트 등 다양한 영역에서 성능을 평가할 수 있으며, 유해 콘텐츠 제작 및 편향성 방지 기능도 포함하고 있다. 특히 보험업 맞춤형 평가 데이터셋 구축에 초점을 맞춰, 보험업 경력을 가진 데이터 전문가들이 실제 설계사 상담 시나리오를 기반으로 질의응답 데이터를 설계한다. 김우승 크라우드웍스 대표는 “AI 에이전트 성능 평가는 로직 기술력보다 평가용 질문 설계의 정교함이 핵심”이라며, “보험 도메인 특화 데이터와 자동화된 평가 시스템을 결합해 금융권 AI 서비스의 품질관리 수준을 향상시키겠다”고 말했다. 관련 기사 더 보기 https://www.venturesquare.net/1002262
