AI 스타트업이 꼭 알아야 할 법, AI 기본법

이 글은 최앤리 법률사무소 문재식 변호사의 기고문입니다. 스타트업을 위한 양질의 콘텐츠를 기고문 형태로 공유하고자 하는 분이 있다면 벤처스퀘어 에디터 팀 editor@venturesquare.net으로 연락 주시기 바랍니다.

챗 GPT가 등장하였을 때는 그저 심심풀이로 AI를 놀리고 농담을 주고 받으면서, AI 기술이라는 것이 잠시 흘러가는 유행처럼 생각하였는데요. 챗 GPT이 출시된 것이 2022년 11월이라고 하는데 불과 3년도 채 지나지 않은 지금, 이제는 어디서나 AI가 아닌 것이 없는 것 같습니다. 문서, 사진, 음성, 영상은 물론이고 심지어 변호사가 작성하는 법률문서도 AI가 곧잘 만들어내고 있습니다. 업무나 일상의 삶을 보다 효율적으로 만든 측면이 있지만, 신기술이 나오면 그러하듯 그로 인한 부작용에 대한 우려도 큽니다. 보이스피싱 등 범죄에 활용될 위험은 물론이고, AI를 맹신하여 법률문서 작성을 맡겼다가 잘못된 판례를 인용한 서면이 제출되어 피해가 우려된다는 보도도 있습니다.

이렇게 AI의 급속한 발전과 확산으로 인한 위험에 대응하기 위해 미국, 일본, EU 등 주요 국가에서는 AI 관련 법령 및 제도들을 마련하고 있습니다. 우리나라도 이러한 AI 규범의 필요성을 인식하여 2024. 12. AI기본법(정식명칭은 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법’)을 제정하고 2026. 1.에 시행을 앞두고 있습니다. 그리고 최근 과학기술정보통신부는 위 AI기본법의 하위 법령 제정방향과 초안을 마련하여 발표하고 의견 수렴 절차를 진행 중에 있습니다. 저희 사무소의 고객사는 물론이고 최근 AI기술을 바탕으로 한 다양한 AI 스타트업이 나타나고 있는 상황에서 AI기본법에 대한 숙지는 필수적이라고 생각되어, 이번 칼럼에서는 AI기본법의 기본적인 골자로서 핵심 조항 및 내용을, 후속하는 편에서는 최근 발표된 하위 법령의 제정방향 및 주요내용을 소개해 드리고자 합니다.

1. AI 기본법의 목적 및 제정방향

AI기본법 제1조는 “이 법은 인공지능의 건전한 발전과 신뢰 기반 조성에 필요한 기본적인 사항을 규정함으로써 국민의 권익과 존엄성을 보호하고 국민의 삶의 질 향상과 국가경쟁력을 강화하는 데 이바지함을 목적으로 한다.”라고 규정하여, 그 정식 명칭에서도 알 수 있듯이 AI 산업에 대한 규제 보다는 그 발전과 안전 및 신뢰 기반 구축에 보다 초점을 두고 있습니다.

이에 따라 AI 기술 또는 산업의 발전을 국가가 뒷받침 하기 위한 AI정책 거버넌스 및 산업 육성 지원에 관한 부분이 AI 기본법의 상당 부분을 차지하고, 나머지는 AI에 대해 안전하고 신뢰할 수 있는 기반 조성을 위한 사업자의 의무나 책임에 관한 내용입니다. 아무래도 AI 스타트업을 영위하고 있는 사업자 입장에서는 마지막 부분이 중요할 것입니다.

2. AI 기본법의 주요 조항

먼저, AI 기술 및 관련 산업의 발전에 관한 국가AI 정책 거버넌스의 확립과 관련한 부분입니다. AI 기본법은 대통령 소속의 국가인공지원회를 설치하고 해당 위원회의 업무를 전문 분야별, 특정 현안별로 수행하기 위해 분과위원회, 특별위원회를 둘 수 있도록 하였으며(제7조부터 제10조), 인공지능정책센터, 인공지능안전연구소를 지정하거나 운영할 수 있도록 하여(제11조 및 제12조), AI 정책 수립, 연구개발 등에 대한 업무 및 지원을 위한 근거를 마련하였습니다.

나아가 AI기본법을 통해 AI 산업의 발전을 위해 AI 개발, 도입, 활용 전 영역에서 정부가 다양한 지원을 할 수 있도록, 인공지능기술 개발 및 안전한 이용을 위한 지원(제13조), 인공지능기술의 표준화를 위한 사업 추진(제14조), 인공지능기술 도입 및 활용을 위한 지원(제16조), 중소기업 및 창업 지원(제17조 및 제18조), 인공지능 데이터센터 관련 시책 추진(제25조) 등 각종 정부지원의 근거가 마련되었습니다.

마지막으로 AI의 안전하고 신뢰할 수 있는 기반 조성을 위한 규정으로서, 인공지능 윤리원칙을 수립하고(제27조), 민간자율인공지능윤리위원회(제28조)를 설치할 수 있도록 하며, 각종 시책이나 안전성 및 신뢰성 확보를 위한 검, 인증등에 관한 사업을 지원하는 규정이 마련되었습니다.

다음으로 AI에 대해 안전하고 신뢰할 수 있는 기반 조성을 위한 사업자의 의무나 책임에 관한 부분입니다. AI기본법은 ‘고영향 인공지능’ 및 ‘생성형 인공지능’ 사업자의 인공지능 이용 여부에 대한 투명성 확보 의무(제31조), 및 안전성 확보 의무(제32조)를 부과하고 있고, 특히 ‘고영향 인공지능사업자’에 대해서는 제공하는 인공지능이 고영향 인공지능에 해당하는지 여부에 대한 사전 검토 의무(제33조), 위험 관리 방안 수립 및 운영, 이용자 보호방안의 수립 및 운영, 고영향 인공지능에 대한 사람의 관리 및 감독 등의 책임을 부과하고 있습니다. 아울러 국내에 주소 또는 영업소가 없는 인공지능 사업자 중 일정한 기준에 해당하는 자의 경우 국내 대리인을 지정할 의무 또한 규정하고 있습니다(제36조).

이어서 위와 같이 사업자에게 부과된 의무를 위반하는 경우의 조치 내지 페널티로서, 과학기술정보통신부장관에게 사실조사 및 중지, 시정명령 권한을 부여하고(제40조), 이를 불이행한 인공지능 사업자에 대하여는 3,000만원 이하의 과태료가 부과될 수 있습니다(제43조).

3. AI 사업자가 부담하는 의무의 구체적인 내용

위 조항 중 AI 스타트업 등 AI 사업자가 AI 기본법에서 특히 주목하여야 하는 부분은 제31조부터 제34조까지의 인공지능사업자에 대한 의무에 관한 내용으로서, 위에서 본 바와 같이, 크게 인공지능 투명성 확보의무(제31조), 인공지능 안전성 확보 의무(제32조), 고영향 인공지능사업자 의무(제33조 및 제34조) 3가지로 구분됩니다.
먼저 인공지능 투명성 확보 의무(제31조)는, 소비자에게 제공되는 제품 또는 서비스가 인공지능에 의해 운용되거나 혹은 어떠한 결과물이 인공지능에 의하여 생성되거나 실제와 구분하기 어려울 경우, 그러한 사실을 고지 또는 표시하여야 한다는 내용입니다.

구체적으로는, AI 사업자가 고영향 인공지능이나 생성형 인공지능을 이용한 제품 또는 서비스를 제공하려는 경우 제품 또는 서비스가 해당 인공지능에 기반하여 운용된다는 사실을 이용자에게 ‘사전 고지’하여야 하고(제1항), 생성형 인공지능 또는 이를 이용한 제품 또는 서비스를 제공하는 경우 그 결과물이 해당 인공지능에 의하여 생성되었다는 사실을 ‘표시’하여야 하며(제2항), 인공지능시스템을 이용하여 실제와 구분하기 어려운 가상의 음향, 이미지 또는 영상 등의 결과물을 제공하는 경우에는 해당 결과물이 인공지능시스템에 의하여 생성되었다는 사실을 ‘이용자가 명확하게 인식할 수 있는 방식으로 고지 또는 표시’하여야 합니다(제3항).

다음으로 인공지능 안전성 확보 의무(제32조)는, 학습에 사용된 누적 연산량이 일정한 기준 이상의 인공지능시스템의 경우 그 기능 오류, 데이터편향, 악용 등의 위험 발생을 우려하여, 안전성 확보를 위한 인공지능 수명주기 전반에 걸친 위험의 식별, 평가 및 완화, 인공지능 관련 안전사고를 모니터링하고 위험관리체계 구축에 관한 사항의 이행을 요구하고 있습니다.

마지막으로 고영향 인공지능의 경우, 그 정의에 의하여 실제 국민의 생명, 신체, 기본권에 중대한 영향을 미치거나 초래할 우려가 있는 것인 만큼, AI 사업자로 하여금 이용하는 인공지능이 고영향 인공지능에 해당하는지에 대하여 사전에 검토하도록 하고 있습니다(제33조). 이러한 사전 검토에 따라 만일 고영향 인공지능에 해당하는 경우에는 해당 인공지능의 안전성, 신뢰성을 확보하기 위해 1) 위험관리방안의 수립 및 운영, 2) 기술적으로 가능한 범위 내에서의 인공지능이 도출한 최종결과, 인공지능의 최종결과 도출에 활용된 주요 기준, 인공지능의 개발 및 활용에 사용된 학습용데이터의 개요 등에 대한 설명 방안의 수립 및 시행, 3) 이용자 보호 방안의 수립 및 운영, 4) 고영향 인공지능에 대한 사람의 관리 및 감독, 5) 안전성 및 신뢰성 확보를 위한 조치의 내용을 확인할 수 있는 문서의 작성과 보관, 6) 그 밖에 고영향 인공지능의 안전성 및 신뢰성 확보를 위하여 위원회에서 심의, 의결된 사항 등에 관한 조치를 이행하여야 합니다(제34조).

이상 AI 기본법의 골자 및 주요내용을 살펴보았는데, 이러한 법률만으로는 고영향 인공지능이 무엇인지, 투명성 및 안전성 확보 의무의 구체적인 이행 방법 내지 방식과 누적학습량이 일정 수준 이상인 고성능AI의 기준은 어떠한지 등은 불분명합니다. 이에 대해서는 앞서 서두에 설명드린 AI기본법 하위 법령에서 구체적으로 규정될 예정이고, 정부가 그 제정방향 및 초안을 최근에 발표하였으므로 후속 편에서 그 내용을 계속해서 소개해 드리도록 하겠습니다.

• 관련 칼럼 더보기