데이터브릭스, 확장성과 신뢰성을 갖춘 AI 에이전트 구축을 위한 새로운 도구 공개

-거버넌스, 모니터링, 확장 기능 강화로 기업의 AI 에이전트 배포를 더욱 안정적으로 지원 데이터 및 AI 기업 데이터브릭스(Databricks)는 기업들이 AI 에이전트를 시범(pilot)단계를 넘어 대규모 운영 환경에 성공적으로 도입할 수 있도록 지원하는 새로운 도구를 공개했다. 이를 통해 기업이 고부가가치 활용 사례에서 AI를 더욱 신뢰하고 효과적으로 활용할 수 있도록 지원한다는 방침이다. 현재 전 세계 기업의 85%가 생성형 AI를 사용하고 있지만, 가장 발전된 모델도 기업별 데이터에 대한 이해 부족으로 인해 비즈니스에 특화된 체계적인 결과를 제공하는 데 어려움을 겪고 있다. 이번에 발표된 신규 도구는 기업이 AI 에이전트를 비즈니스에 필수적인 고부가가치 애플리케이션에 도입할 수 있도록 지원하며, 정확성과 거버넌스를 보장하고 사용 편의성을 높이는 데 초점을 맞추고 있다. 주요 기능은 다음과 같다. AI 모델에 대한 중앙 집중식 거버넌스: 모든 AI 모델(오픈 소스 및 상업용 모델)을 한 곳에서 관리할 수 있도록 지원하며, 모자이크 AI 게이트웨이(Mosaic AI Gateway)를 통해 맞춤형 대규모 언어 모델(LLM) 공급자를 활용할 수 있다. 이를 통해 모델 전반에 걸쳐 일관된 거버넌스, 모니터링 및 통합 기능을 제공한다. 기존 애플리케이션 워크플로우와의 손쉬운 통합: AI/BI Genie 대화형 API 스위트(suite, 제품군)는 개발자가 자연어 기반 챗봇을 맞춤형 애플리케이션이나 마이크로소프트 팀즈, 쉐어포인트, 슬랙과 같은 인기 있는 생산성 도구에 직접 통합할 수 있도록 한다. 또한, 지니 API(Genie API)를 통해 사용자는 프로그래밍 방식으로 프롬프트를 제출하고, 지니 UI(사용자 인터페이스)에서와 동일한 인사이트를 얻을 수 있다. 뿐만 아니라, API는 상태를 유지(Stateful)하므로 대화 스레드 내에서 여러 후속 질문에 걸쳐 대화의 문맥을 유지할 수 있다. 휴먼 인 더 루프(인간개입) 워크플로우 간소화: 업그레이드된 에이전트 평가 리뷰 앱(Agent Evaluation Review App)은 도메인 전문가가 AI 에이전트의 성능을 보다 손쉽게 평가하고, 맞춤형 피드백을 제공하며, 라벨링을 위해 추적을 보내고, 평가 기준을 사용자 맞춤화 할 수 있도록 지원한다. 전문가는 엑셀 스프레드시트나 별도의 맞춤형 애플리케이션 없이도 체계적인 피드백을 효율적으로 수집할 수 있어, AI 성능을 지속적으로 개선하고 정확도를 체계적으로 향상시키는데 기여한다. 특히, 실제 운영 환경에서 AI 에이전트의 성능을 평가하는 데 소요되는 많은 시간과 노력을 줄여준다. 프로비저닝 없는 배치 추론: 고품질 AI 에이전트를 구축하기 위해서는 모델 선택, 거버넌스, 평가가 필수적이지만, 기술을 원활하게 확산하기 위해서는 사용 경험을 단순화하는 것도 중요하다. 이번에 새롭게 추가된 기능을 통해 모자이크 AI(Mosaic AI)에서 단일 SQL 쿼리만으로 배치 추론을 실행할 수 있으며, 별도의 인프라 설정없이도 비정형 데이터를 원활하게 통합할 수 있다. 이안 카듀(Ian Cadieu) 알타나(Altana) CTO는 “배치 AI와 AI 함수는 우리의 AI 워크플로우를 간소화한다. 이를 통해 인프라 관리 없이 간단한 SQL 쿼리로 대규모 AI 추론을 통합할 수 있게 되었다. 이는 데이터 파이프라인에 직접 통합되어 비용을 절감하고 구성 부담을 줄여준다. 해당 솔루션을 도입한 이후, 전통적인 ETL과 데이터 파이프라이닝을 AI 추론 워크로드와 결합할 때 개발 속도가 획기적으로 향상되었다”고 말했다. 크레이그 와일리(Craig Wiley) 데이터브릭스 AI/ML 제품 담당 수석 디렉터는 “여전히 많은 기업이 AI 에이전트를 고부가가치 활용 사례에 도입하는 데 어려움을 겪고 있다. 이는 정확성, 거버넌스, 보안에 대한 우려 때문이다. 이러한 기업에게 가장 큰 장애물은 기술 자체가 아니라, AI를 신뢰할 수 있는지에 대한 확신이다”라며, “이번에 새롭게 발표된 도구들은 이러한 문제를 정면돌파함으로써, 기업이 시범 단계를 넘어 신뢰할 수 있는 AI 에이전트를 본격적인 운영 환경에 도입할 수 있도록 지원할 것”이라고 말했다. 현재 모자이크 AI 게이트웨이, 지니 대화형 API 스위트, 에이전트 평가 리뷰 앱, 배치 AI는 퍼블릭 프리뷰(Public Preview) 버전으로 제공되고 있다.