크라우드웍스, ‘생성형 AI 신뢰성 평가의 실용적 접근 방안 연구사업’ 완료

크라우드웍스는 한국정보통신기술협회(TTA)가 주관한 ‘생성형 AI 신뢰성 평가의 실용적 접근 방안 연구사업’을 완료했다고 4일 밝혔다. 이번 사업을 통해 크라우드웍스는 AI 신뢰성 평가에 대한 전문성과 경쟁력을 강화하게 되었다. 이번 연구사업의 주요 목표는 생성형 AI의 신뢰성과 안전성을 체계적으로 평가할 수 있는 프레임워크 표준을 개발하고 이를 실증하는 것이었다. 크라우드웍스는 LLM(대형 언어 모델) 신뢰성 평가 실증 및 교육 자료 개발을 담당하며, 국내 기업이 개발한 3개의 LLM 모델을 대상으로 평가를 진행했다. 크라우드웍스는 먼저 데이터셋을 활용해 3개 LLM 모델의 응답 패턴을 분석하고, 각 모델별 잠재적 위험 요소를 파악한 후 공격 시나리오를 설계했다. 다양한 프롬프트를 통해 모델을 다각적으로 테스트하며 시나리오를 보완하고, 각 모델의 취약점을 집중적으로 탐색했다. 또한, 크라우드웍스는 AI 모델을 활용한 자동 평가와 전문 인력을 통한 레드팀 심화 평가를 병행했다. 레드팀은 크라우드웍스의 60만 명의 데이터 전문가 풀에서 LLM 전문가를 선발하여 구성했으며, 세부적인 이해를 바탕으로 심화 평가를 진행했다. 평가 과정에서는 폭력, 불법, 불합리, 비사실, 오도, 비윤리 등의 AI 위험도 평가 기준을 적용하여 각 모델의 응답 위험성을 정량적, 정성적으로 분석하고, 모델의 신뢰성과 안전성을 다각도로 검증해 개선 사항을 도출했다. 이번 사업을 통해 크라우드웍스는 AI 신뢰성 평가 전문성을 확보했으며, 이를 바탕으로 기업용 AI 리스크를 줄이기 위한 AI 신뢰성 평가 서비스를 고도화할 계획이다. 또한, 크라우드웍스는 올해 다양한 산업군에 걸쳐 AI 서비스 신뢰성 평가 사업을 확대하고, AI 신뢰성 및 안전성 분야에서 리더십을 강화할 예정이다. 김우승 크라우드웍스 대표는 “이번 TTA 연구사업을 통해 개발된 AI 신뢰성 평가 프레임워크는 국내 생성형 AI 신뢰성 평가의 기준이 됐다”며, “60만 명의 데이터 전문가 네트워크와 검증된 평가 체계를 기반으로, AI 신뢰성 및 안전성 평가 분야에서 선도기업으로서 시장을 리딩하고, 많은 기업들이 안전하고 신뢰할 수 있는 AI 서비스를 개발할 수 있도록 지원하겠다”고 말했다. 관련 기사 더보기 https://www.venturesquare.net/955927