이 글은 최앤리 법률사무소 문재식 변호사의 기고문입니다. 스타트업을 위한 양질의 콘텐츠를 기고문 형태로 공유하고자 하는 분이 있다면 벤처스퀘어 에디터 팀 editor@venturesquare.net으로 연락 주시기 바랍니다.
챗 GPT가 등장하였을 때는 그저 심심풀이로 AI를 놀리고 농담을 주고 받으면서, AI 기술이라는 것이 잠시 흘러가는 유행처럼 생각하였는데요. 챗 GPT이 출시된 것이 2022년 11월이라고 하는데 불과 3년도 채 지나지 않은 지금, 이제는 어디서나 AI가 아닌 것이 없는 것 같습니다. 문서, 사진, 음성, 영상은 물론이고 심지어 변호사가 작성하는 법률문서도 AI가 곧잘 만들어내고 있습니다. 업무나 일상의 삶을 보다 효율적으로 만든 측면이 있지만, 신기술이 나오면 그러하듯 그로 인한 부작용에 대한 우려도 큽니다. 보이스피싱 등 범죄에 활용될 위험은 물론이고, AI를 맹신하여 법률문서 작성을 맡겼다가 잘못된 판례를 인용한 서면이 제출되어 피해가 우려된다는 보도도 있습니다.
이렇게 AI의 급속한 발전과 확산으로 인한 위험에 대응하기 위해 미국, 일본, EU 등 주요 국가에서는 AI 관련 법령 및 제도들을 마련하고 있습니다. 우리나라도 이러한 AI 규범의 필요성을 인식하여 2024. 12. AI기본법(정식명칭은 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법’)을 제정하고 2026. 1.에 시행을 앞두고 있습니다. 그리고 최근 과학기술정보통신부는 위 AI기본법의 하위 법령 제정방향과 초안을 마련하여 발표하고 의견 수렴 절차를 진행 중에 있습니다. 저희 사무소의 고객사는 물론이고 최근 AI기술을 바탕으로 한 다양한 AI 스타트업이 나타나고 있는 상황에서 AI기본법에 대한 숙지는 필수적이라고 생각되어, 이번 칼럼에서는 AI기본법의 기본적인 골자로서 핵심 조항 및 내용을, 후속하는 편에서는 최근 발표된 하위 법령의 제정방향 및 주요내용을 소개해 드리고자 합니다.
1. AI 기본법의 목적 및 제정방향
AI기본법 제1조는 “이 법은 인공지능의 건전한 발전과 신뢰 기반 조성에 필요한 기본적인 사항을 규정함으로써 국민의 권익과 존엄성을 보호하고 국민의 삶의 질 향상과 국가경쟁력을 강화하는 데 이바지함을 목적으로 한다.”라고 규정하여, 그 정식 명칭에서도 알 수 있듯이 AI 산업에 대한 규제 보다는 그 발전과 안전 및 신뢰 기반 구축에 보다 초점을 두고 있습니다.
이에 따라 AI 기술 또는 산업의 발전을 국가가 뒷받침 하기 위한 AI정책 거버넌스 및 산업 육성 지원에 관한 부분이 AI 기본법의 상당 부분을 차지하고, 나머지는 AI에 대해 안전하고 신뢰할 수 있는 기반 조성을 위한 사업자의 의무나 책임에 관한 내용입니다. 아무래도 AI 스타트업을 영위하고 있는 사업자 입장에서는 마지막 부분이 중요할 것입니다.
2. AI 기본법의 주요 조항
먼저, AI 기술 및 관련 산업의 발전에 관한 국가AI 정책 거버넌스의 확립과 관련한 부분입니다. AI 기본법은 대통령 소속의 국가인공지원회를 설치하고 해당 위원회의 업무를 전문 분야별, 특정 현안별로 수행하기 위해 분과위원회, 특별위원회를 둘 수 있도록 하였으며(제7조부터 제10조), 인공지능정책센터, 인공지능안전연구소를 지정하거나 운영할 수 있도록 하여(제11조 및 제12조), AI 정책 수립, 연구개발 등에 대한 업무 및 지원을 위한 근거를 마련하였습니다.
나아가 AI기본법을 통해 AI 산업의 발전을 위해 AI 개발, 도입, 활용 전 영역에서 정부가 다양한 지원을 할 수 있도록, 인공지능기술 개발 및 안전한 이용을 위한 지원(제13조), 인공지능기술의 표준화를 위한 사업 추진(제14조), 인공지능기술 도입 및 활용을 위한 지원(제16조), 중소기업 및 창업 지원(제17조 및 제18조), 인공지능 데이터센터 관련 시책 추진(제25조) 등 각종 정부지원의 근거가 마련되었습니다.
마지막으로 AI의 안전하고 신뢰할 수 있는 기반 조성을 위한 규정으로서, 인공지능 윤리원칙을 수립하고(제27조), 민간자율인공지능윤리위원회(제28조)를 설치할 수 있도록 하며, 각종 시책이나 안전성 및 신뢰성 확보를 위한 검, 인증등에 관한 사업을 지원하는 규정이 마련되었습니다.
다음으로 AI에 대해 안전하고 신뢰할 수 있는 기반 조성을 위한 사업자의 의무나 책임에 관한 부분입니다. AI기본법은 ‘고영향 인공지능’ 및 ‘생성형 인공지능’ 사업자의 인공지능 이용 여부에 대한 투명성 확보 의무(제31조), 및 안전성 확보 의무(제32조)를 부과하고 있고, 특히 ‘고영향 인공지능사업자’에 대해서는 제공하는 인공지능이 고영향 인공지능에 해당하는지 여부에 대한 사전 검토 의무(제33조), 위험 관리 방안 수립 및 운영, 이용자 보호방안의 수립 및 운영, 고영향 인공지능에 대한 사람의 관리 및 감독 등의 책임을 부과하고 있습니다. 아울러 국내에 주소 또는 영업소가 없는 인공지능 사업자 중 일정한 기준에 해당하는 자의 경우 국내 대리인을 지정할 의무 또한 규정하고 있습니다(제36조).
이어서 위와 같이 사업자에게 부과된 의무를 위반하는 경우의 조치 내지 페널티로서, 과학기술정보통신부장관에게 사실조사 및 중지, 시정명령 권한을 부여하고(제40조), 이를 불이행한 인공지능 사업자에 대하여는 3,000만원 이하의 과태료가 부과될 수 있습니다(제43조).
3. AI 사업자가 부담하는 의무의 구체적인 내용
위 조항 중 AI 스타트업 등 AI 사업자가 AI 기본법에서 특히 주목하여야 하는 부분은 제31조부터 제34조까지의 인공지능사업자에 대한 의무에 관한 내용으로서, 위에서 본 바와 같이, 크게 인공지능 투명성 확보의무(제31조), 인공지능 안전성 확보 의무(제32조), 고영향 인공지능사업자 의무(제33조 및 제34조) 3가지로 구분됩니다.
먼저 인공지능 투명성 확보 의무(제31조)는, 소비자에게 제공되는 제품 또는 서비스가 인공지능에 의해 운용되거나 혹은 어떠한 결과물이 인공지능에 의하여 생성되거나 실제와 구분하기 어려울 경우, 그러한 사실을 고지 또는 표시하여야 한다는 내용입니다.
구체적으로는, AI 사업자가 고영향 인공지능이나 생성형 인공지능을 이용한 제품 또는 서비스를 제공하려는 경우 제품 또는 서비스가 해당 인공지능에 기반하여 운용된다는 사실을 이용자에게 ‘사전 고지’하여야 하고(제1항), 생성형 인공지능 또는 이를 이용한 제품 또는 서비스를 제공하는 경우 그 결과물이 해당 인공지능에 의하여 생성되었다는 사실을 ‘표시’하여야 하며(제2항), 인공지능시스템을 이용하여 실제와 구분하기 어려운 가상의 음향, 이미지 또는 영상 등의 결과물을 제공하는 경우에는 해당 결과물이 인공지능시스템에 의하여 생성되었다는 사실을 ‘이용자가 명확하게 인식할 수 있는 방식으로 고지 또는 표시’하여야 합니다(제3항).
다음으로 인공지능 안전성 확보 의무(제32조)는, 학습에 사용된 누적 연산량이 일정한 기준 이상의 인공지능시스템의 경우 그 기능 오류, 데이터편향, 악용 등의 위험 발생을 우려하여, 안전성 확보를 위한 인공지능 수명주기 전반에 걸친 위험의 식별, 평가 및 완화, 인공지능 관련 안전사고를 모니터링하고 위험관리체계 구축에 관한 사항의 이행을 요구하고 있습니다.
마지막으로 고영향 인공지능의 경우, 그 정의에 의하여 실제 국민의 생명, 신체, 기본권에 중대한 영향을 미치거나 초래할 우려가 있는 것인 만큼, AI 사업자로 하여금 이용하는 인공지능이 고영향 인공지능에 해당하는지에 대하여 사전에 검토하도록 하고 있습니다(제33조). 이러한 사전 검토에 따라 만일 고영향 인공지능에 해당하는 경우에는 해당 인공지능의 안전성, 신뢰성을 확보하기 위해 1) 위험관리방안의 수립 및 운영, 2) 기술적으로 가능한 범위 내에서의 인공지능이 도출한 최종결과, 인공지능의 최종결과 도출에 활용된 주요 기준, 인공지능의 개발 및 활용에 사용된 학습용데이터의 개요 등에 대한 설명 방안의 수립 및 시행, 3) 이용자 보호 방안의 수립 및 운영, 4) 고영향 인공지능에 대한 사람의 관리 및 감독, 5) 안전성 및 신뢰성 확보를 위한 조치의 내용을 확인할 수 있는 문서의 작성과 보관, 6) 그 밖에 고영향 인공지능의 안전성 및 신뢰성 확보를 위하여 위원회에서 심의, 의결된 사항 등에 관한 조치를 이행하여야 합니다(제34조).
이상 AI 기본법의 골자 및 주요내용을 살펴보았는데, 이러한 법률만으로는 고영향 인공지능이 무엇인지, 투명성 및 안전성 확보 의무의 구체적인 이행 방법 내지 방식과 누적학습량이 일정 수준 이상인 고성능AI의 기준은 어떠한지 등은 불분명합니다. 이에 대해서는 앞서 서두에 설명드린 AI기본법 하위 법령에서 구체적으로 규정될 예정이고, 정부가 그 제정방향 및 초안을 최근에 발표하였으므로 후속 편에서 그 내용을 계속해서 소개해 드리도록 하겠습니다.
- 관련 칼럼 더보기
The Basic AI Act: Essential Laws for AI Startups
This article is a contribution by Attorney Jaesik Moon of Choi & Lee Law Firm. If you would like to share quality content for startups in the form of a contribution, please contact the Venture Square editorial team at editor@venturesquare.net.
When Chat GPT first appeared, people simply played around with AI to pass the time, joking around with it, and thought AI technology was just a passing fad. Chat GPT was released in November 2022, and now, less than three years later, it seems AI is everywhere. It's already been used to create documents, photos, audio, and videos, and even legal documents drafted by lawyers. While it has certainly made work and daily life more efficient, as with any new technology, concerns about its potential negative consequences are also high. There's the risk of AI being used for criminal purposes like voice phishing, and there are reports of people blindly trusting AI to draft legal documents, only to have the documents submitted citing incorrect precedents, potentially resulting in damages.
To address the risks posed by the rapid development and spread of AI, major countries such as the US, Japan, and the EU are establishing AI-related laws and systems. Recognizing the need for such AI norms, South Korea enacted the Framework Act on AI (officially known as the "Framework Act on the Development of Artificial Intelligence and Creation of a Trust Foundation") in December 2024, slated for enforcement in January 2026. Recently, the Ministry of Science and ICT has prepared and announced the direction and draft of subordinate statutes under the Framework Act on AI and is currently in the process of collecting public opinion. Given the emergence of various AI startups based on AI technology, as well as our firm's clients, we believe familiarity with the Framework Act on AI is essential. Therefore, in this column, we will present the core provisions and contents of the Framework Act as the basic framework, while in subsequent installments, we will introduce the direction and key contents of recently announced subordinate statutes.
1. Purpose and direction of enactment of the AI Basic Act
Article 1 of the Framework Act on AI stipulates, “This Act aims to protect the rights and interests of the people and contribute to improving the quality of life of the people and strengthening national competitiveness by stipulating the basic matters necessary for the sound development of artificial intelligence and the establishment of a foundation for trust.” As its official name suggests, it focuses more on the development and establishment of a foundation for safety and trust in the AI industry rather than on regulating it.
Accordingly, a significant portion of the Basic AI Act concerns AI policy governance and industry development support, aimed at supporting the development of AI technology and industries. The remainder concerns the obligations and responsibilities of businesses to establish a safe and reliable foundation for AI. This last section is likely to be crucial for businesses operating AI startups.
2. Key provisions of the AI Basic Act
First, let's consider the establishment of national AI policy governance regarding the development of AI technology and related industries. The Framework Act on AI establishes a National AI Support Council under the President and authorizes the creation of subcommittees and special committees to carry out the council's work by specialized field or specific issue (Articles 7 to 10). It also designates and operates an AI Policy Center and an AI Safety Research Institute (Articles 11 and 12), establishing a foundation for work and support related to AI policy formulation, research and development, and other areas.
Furthermore, the Framework Act on AI has established a basis for various government support measures, including support for the development and safe use of AI technology (Article 13), promotion of projects for the standardization of AI technology (Article 14), support for the introduction and use of AI technology (Article 16), support for small and medium-sized enterprises and startups (Articles 17 and 18), and promotion of policies related to AI data centers (Article 25), so that the government can provide various support measures for the development, introduction, and utilization of AI technology to advance the AI industry.
Finally, as regulations for establishing a safe and reliable foundation for AI, the following provisions were established: AI ethics principles (Article 27), a private autonomous AI ethics committee (Article 28), and support for various policies, inspections, and certifications to ensure safety and reliability.
Next, let's look at the obligations and responsibilities of business operators for creating a safe and reliable foundation for AI. The Framework Act on AI imposes on "high-impact AI" and "generative AI" business operators the obligation to ensure transparency regarding their use of AI (Article 31) and the obligation to ensure safety (Article 32). In particular, "high-impact AI business operators" are responsible for conducting a prior review of whether the AI they provide qualifies as high-impact AI (Article 33), establishing and operating risk management plans, establishing and operating user protection measures, and supervising and managing high-impact AI. Furthermore, for AI business operators without a domestic address or place of business that meet certain criteria, the Act also stipulates the obligation to designate a domestic agent (Article 36).
Next, as a measure or penalty in case of violation of the obligations imposed on the business operator as above, the Minister of Science and ICT is granted the authority to investigate the facts and issue suspension or corrective orders (Article 40), and an artificial intelligence business operator that fails to comply with this may be subject to a fine of up to 30 million won (Article 43).
3. Specific details of the obligations borne by AI business operators
Among the provisions above, the parts of the AI Basic Act that AI startups and other AI business operators should pay particular attention to are the obligations of AI business operators from Articles 31 to 34. As seen above, these are broadly divided into three categories: the obligation to ensure AI transparency (Article 31), the obligation to ensure AI safety (Article 32), and the obligations of high-impact AI business operators (Articles 33 and 34).
First, the obligation to ensure AI transparency (Article 31) stipulates that if a product or service provided to a consumer is operated by AI, or if any result is generated by AI or is difficult to distinguish from reality, such fact must be notified or displayed.
Specifically, when an AI business operator intends to provide a product or service using high-impact artificial intelligence or generative artificial intelligence, it must ‘notify in advance’ the user that the product or service is operated based on the artificial intelligence (Article 1), when providing generative artificial intelligence or a product or service using it, it must ‘indicate’ the fact that the result was generated by the artificial intelligence (Article 2), and when providing a virtual sound, image, or video that is difficult to distinguish from reality using an artificial intelligence system, it must ‘notify or display in a manner that allows the user to clearly recognize’ the fact that the result was generated by the artificial intelligence system (Article 3).
Next, the obligation to ensure artificial intelligence safety (Article 32) requires the implementation of matters related to the identification, assessment, and mitigation of risks throughout the artificial intelligence lifecycle, monitoring of artificial intelligence-related safety accidents, and establishment of a risk management system to ensure safety, in the case of artificial intelligence systems where the cumulative computational volume used for learning exceeds a certain standard, due to concerns about the occurrence of risks such as functional errors, data bias, and misuse.
Finally, in the case of high-impact AI, as it is defined as something that may or may not significantly impact the lives, bodies, and fundamental rights of citizens, AI service providers are required to conduct a prior review to determine whether the AI they use qualifies as high-impact AI (Article 33). If, following this prior review, it qualifies as high-impact AI, the following measures must be taken to ensure the safety and reliability of the AI: 1) establishment and operation of a risk management plan; 2) establishment and implementation of an explanation plan for the final results derived from the AI within the scope technically feasible, the main criteria utilized in deriving the final results, and an overview of the learning data used in the development and utilization of the AI; 3) establishment and operation of a user protection plan; 4) human management and supervision of high-impact AI; 5) preparation and storage of documents verifying the contents of measures to ensure safety and reliability; and 6) other measures deliberated and decided by the Committee to ensure the safety and reliability of high-impact AI (Article 34).
We've examined the outline and key provisions of the Framework Act on AI. However, this law alone remains unclear regarding the definition of high-impact AI, the specific methods and means of fulfilling the obligations to ensure transparency and safety, and the standards for high-performance AI with a certain level of accumulated learning. These will be specifically regulated in the subordinate statutes of the Framework Act on AI, as previously explained. The government recently announced the direction and draft of this legislation, so we will continue to provide details in subsequent articles.
- See more related columns
AIスタートアップが必ず知るべき方法、AI基本法
この記事はチェ・アンリ法律事務所のムン・ジェシク弁護士の投稿です。スタートアップのための質の高いコンテンツを投稿フォームで共有したい人がいる場合は、ベンチャースクエアエディタチームeditor@venturesquare.netまでご連絡ください。
チャットGPTが登場した時は、ただ、退屈でAIをからかって冗談をやり取りしながら、AI技術というのがしばらく流れる流行のように考えました。チャットGPTが発売されたのが2022年11月だというのにわずか3年も経っていない今、今はどこでもAIではないことがないようです。文書、写真、音声、映像はもちろん、さらには弁護士が作成する法律文書もAIがすぐに作り出しています。業務や日常の生活をより効率的にした側面がありますが、新技術が出ればそうするように、それによる副作用に対する懸念も大きいです。ボイスフィッシングなど犯罪に活用される危険はもちろん、AIを盲信して法律文書作成を任せたが、誤った判例を引用した書面が提出され、被害が懸念されるという報道もあります。
このようにAIの急速な発展と拡散によるリスクに対応するため、米国、日本、EUなど主要国ではAI関連の法令や制度を設けています。我が国もこのようなAI規範の必要性を認識し、2024. 12. AI基本法（正式名称は「人工知能発展と信頼基盤の造成等に関する基本法」）を制定し、2026. 1.に施行を控えています。そして最近、科学技術情報通信部は上記AI基本法の下位法令制定方向と草案を設けて発表し、意見収束手続きを進行中です。当事務所の顧客会社はもちろん、最近AI技術を基盤とした多様なAIスタートアップが現れている状況でAI基本法についての熟知は必須と考えられ、今回のコラムではAI基本法の基本的な骨子として核心条項及び内容を、後続の方では最近発表されたサブ法令の制定方向及び主要内容を紹介します。
1. AI基本法の目的及び制定方向
AI基本法第1条は「この法律は、人工知能の健全な発展と信頼基盤の造成に必要な基本的な事項を規定することにより、国民の権益と尊厳性を保護し、国民の生活の質向上と国家競争力を強化するのに資することを目的とする」と規定し、その正式名称からも分かるように、構築に焦点を当てています。
これにより、AI技術または産業の発展を国家が支えるためのAI政策ガバナンスおよび産業育成支援に関する部分がAI基本法の相当部分を占め、残りはAIに対して安全で信頼できる基盤づくりのための事業者の義務や責任に関する内容です。どうやらAIスタートアップを営んでいる事業者の立場では最後の部分が重要でしょう。
2. AI基本法の主な規定
まず、AI技術と関連産業の発展に関する国家AI政策ガバナンスの確立に関する部分である。 AI基本法は大統領所属の国家人工支援会を設置し、当該委員会の業務を専門分野別、特定の懸案別に遂行するために分科委員会、特別委員会を置くことができるようにし(第7条から第10条)、人工知能政策センター、人工知能安全研究所を指定または運営できるようにして(第11条および第11条および支援のための根拠を設けました。
さらにAI基本法を通じてAI産業の発展のためにAI開発、導入、活用全領域で政府が多様な支援を行うことができるように、人工知能技術の開発及び安全な利用のための支援（第13条）、人工知能技術の標準化のための事業推進（第14条）、人工知能技術の導入及び活用のための支援（第16条）第18条）、人工知能データセンター関連施策の推進（第25条）など各種政府支援の根拠が設けられました。
最後に、AIの安全で信頼できる基盤づくりのための規定として、人工知能倫理原則を樹立し(第27条)、民間自律人工知能倫理委員会(第28条)を設置できるようにし、各種施策や安全性及び信頼性確保のための剣、認証等に関する事業を支援する規定が設けられました。
次に、AIに対する安全で信頼できる基盤づくりのための事業者の義務や責任に関する部分です。 AI基本法は、「高影響人工知能」および「生成型人工知能」事業者の人工知能の利用可否に対する透明性確保義務（第31条）、および安全性確保義務（第32条）を課しており、特に「高影響人工知能事業者」については、提供する人工知能に対する事前検討義務（第33条）、リスク管理方案の樹立及び運営、利用者保護方案の樹立及び運営、高影響人工知能に対する人の管理及び監督等の責任を課しています。なお、国内に住所または営業所がない人工知能事業者のうち一定の基準に該当する者の場合、国内代理人を指定する義務も規定しています（第36条）。
続いて、上記のように事業者に賦課された義務に違反する場合の措置ないしペナルティとして、科学技術情報通信部長官に事実調査及び中止、是正命令権限を付与し（第40条）、これを不履行した人工知能事業者に対しては3,000万ウォン以下の過怠料が賦課されることがあります。
3. AI事業者が負担する義務の具体的な内容
上記条項のうち、AIスタートアップなどAI事業者がAI基本法で特に注目すべき部分は、第31条から第34条までの人工知能事業者に対する義務に関する内容であり、上から見たように、大きく人工知能透明性確保義務（第31条）、人工知能安全性確保義務（第32条）、第34条）3つに分けられます。
まず、人工知能透明性確保義務（第31条）は、消費者に提供される製品またはサービスが人工知能によって運用されたり、いかなる結果物が人工知能によって生成されたり、実際と区別しにくい場合、そのような事実を告知または表示しなければならないという内容です。
具体的には、AI事業者が高影響人工知能や生成型人工知能を利用した製品またはサービスを提供しようとする場合、製品またはサービスが当該人工知能に基づいて運用されるという事実を利用者に「事前告知」しなければならず（第1項）、生成型人工知能またはこれを利用した製品またはサービスを提供する場合、その結果物が該当人工知能（第2項）、人工知能システムを利用して実際と区別しにくい仮想の音響、画像または映像などの結果物を提供する場合には、当該結果物が人工知能システムによって生成されたという事実を「利用者が明確に認識できる方法で告知または表示」しなければなりません（第3項）。
次に、人工知能安全性確保義務（第32条）は、学習に使用された累積演算量が一定の基準以上の人工知能システムの場合、その機能エラー、データ偏向、悪用等の危険発生を懸念し、安全性確保のための人工知能ライフサイクル全般にわたるリスクの識別、評価及び緩和、人工知能関連安全事項あります。
最後に、高影響人工知能の場合、その定義により、実際の国民の生命、身体、基本権に重大な影響を及ぼしたり、招く恐れがあることだけに、AI事業者が利用する人工知能が高影響人工知能に該当するかについて事前に検討するようにしています（第33条）。このような事前検討により、もし高影響人工知能に該当する場合には、当該人工知能の安全性、信頼性を確保するために、1)リスク管理方案の樹立及び運営、2)技術的に可能な範囲内での人工知能が導出した最終結果、人工知能の最終結果導出に活用された主要基準、人工知能の開発及び活用に用いられた3) 利用者保護方案の樹立及び運営、4) 高影響人工知能に対する人の管理及び監督、5) 安全性及び信頼性確保のための措置の内容を確認できる文書の作成及び保管、6) その他高影響人工知能の安全性及び信頼性確保のために委員会において審議、議決された事項等に関する措置(4)
以上、AI基本法の骨子及び主な内容を見てきましたが、これらの法律だけでは高影響人工知能とは何か、透明性及び安全性確保義務の具体的な履行方法～方式と累積学習量が一定水準以上の高性能AIの基準はどのようなかなどは不明です。これについては、先ほど冒頭に説明したAI基本法サブ法令で具体的に規定される予定であり、政府がその制定方向及び草案を最近発表したので、後続編でその内容を引き続き紹介します。
- 関連列をさらに表示
《人工智能基础法案》：人工智能初创企业必备的法律
本文由崔李律师事务所的Jaesik Moon律师撰写。如果您也想为创业公司投稿，请联系Venture Square编辑团队，邮箱地址为editor@venturesquare.net。
Chat GPT刚出现时，人们只是把它当作消遣工具，拿来开玩笑，认为人工智能技术不过是昙花一现。Chat GPT于2022年11月发布，如今不到三年，人工智能似乎已经无处不在。它已被用于创建文档、照片、音频和视频，甚至包括律师起草的法律文件。虽然它确实提高了工作和日常生活的效率，但任何新技术都存在风险，人们也对其潜在的负面影响感到担忧。人工智能可能被用于犯罪活动，例如语音钓鱼；也有报道称，有人盲目信任人工智能起草法律文件，结果提交的文件引用了错误的先例，可能导致损失。
为了应对人工智能快速发展和普及带来的风险，美国、日本和欧盟等主要国家正在制定人工智能相关的法律和制度。韩国也认识到此类人工智能规范的必要性，于2024年12月颁布了《人工智能框架法》（正式名称为《人工智能发展与信任基础构建框架法》），并计划于2026年1月生效。近期，韩国科学技术信息通信部已制定并公布了《人工智能框架法》下属各项附属法规的草案和方向，目前正在征求公众意见。鉴于基于人工智能技术的众多人工智能初创企业以及我们公司的客户，我们认为熟悉《人工智能框架法》至关重要。因此，在本专栏中，我们将介绍《人工智能框架法》的核心条款和内容，作为基本框架；在后续文章中，我们将介绍近期公布的附属法规的方向和主要内容。
1. 人工智能基本法的制定目的和方向
《人工智能框架法》第一条规定：“本法旨在通过规定人工智能健康发展和建立信任基础所必需的基本事项，保护人民的权利和利益，促进提高人民生活质量，增强国家竞争力。” 正如其正式名称所示，该法更侧重于发展和建立人工智能产业的安全与信任基础，而非对其进行监管。
因此，《人工智能基本法》的大部分内容涉及人工智能政策治理和产业发展支持，旨在促进人工智能技术和产业的发展。其余部分则涉及企业为人工智能建立安全可靠的基础所承担的义务和责任。最后一部分对于运营人工智能初创企业的企业而言至关重要。
2. 人工智能基本法的关键条款
首先，我们来探讨一下国家人工智能政策治理体系的建立，以及人工智能技术及相关产业的发展。《人工智能框架法》设立了总统领导的国家人工智能支持委员会，并授权设立若干小组委员会和专门委员会，按专业领域或具体议题开展委员会的工作（第7至10条）。该法还指定并设立了人工智能政策中心和人工智能安全研究所（第11和12条），为人工智能政策制定、研发及其他相关领域的工作和支持奠定了基础。
此外，《人工智能框架法》为各种政府支持措施奠定了基础，包括支持人工智能技术的开发和安全使用（第13条）、促进人工智能技术标准化项目（第14条）、支持人工智能技术的引进和使用（第16条）、支持中小企业和初创企业（第17条和第18条）以及促进与人工智能数据中心相关的政策（第25条），以便政府能够为人工智能技术的开发、引进和利用提供各种支持措施，从而推动人工智能产业的发展。
最后，为了建立人工智能安全可靠的基础，制定了以下规定：人工智能伦理原则（第 27 条）、私人自主人工智能伦理委员会（第 28 条），以及对各种政策、检查和认证的支持，以确保安全性和可靠性。
接下来，我们来看一下企业经营者在构建安全可靠的人工智能基础架构方面的义务和责任。《人工智能框架法》规定，“高影响力人工智能”和“生成式人工智能”企业经营者有义务确保其人工智能使用过程的透明度（第31条）和安全性（第32条）。具体而言，“高影响力人工智能企业经营者”有责任事先审查其提供的人工智能是否符合高影响力人工智能的定义（第33条），制定并实施风险管理计划，制定并实施用户保护措施，并对高影响力人工智能进行监督和管理。此外，对于符合特定条件且没有国内营业场所的人工智能企业经营者，该法还规定其有义务指定一名国内代理人（第36条）。
其次，作为对违反上述对经营者施加的义务的措施或处罚，科学和信息通信技术部长有权调查事实并发布暂停或纠正命令（第 40 条），不遵守此规定的人工智能经营者可能会被处以最高 3000 万韩元的罚款（第 43 条）。
3. 人工智能业务经营者所承担义务的具体细节
在上述条款中，人工智能初创企业和其他人工智能业务经营者应特别关注《人工智能基本法》第31条至第34条中关于人工智能业务经营者义务的规定。如上所述，这些规定大致分为三类：确保人工智能透明度的义务（第31条）、确保人工智能安全性的义务（第32条）以及高影响力人工智能业务经营者的义务（第33条和第34条）。
首先，确保人工智能透明度的义务（第 31 条）规定，如果向消费者提供的产品或服务由人工智能运行，或者任何结果由人工智能生成或难以与现实区分开来，则必须通知或展示这一事实。
具体而言，人工智能业务经营者若打算使用高影响力人工智能或生成式人工智能提供产品或服务，必须“提前告知”用户该产品或服务是基于人工智能运行的（第1条）；若提供生成式人工智能或使用该技术的产品或服务，必须“标明”该结果是由人工智能生成的（第2条）；若使用人工智能系统提供难以与现实区分的虚拟声音、图像或视频，必须“以用户能够清楚识别的方式告知或显示”该结果是由人工智能系统生成的（第3条）。
其次，确保人工智能安全的义务（第 32 条）要求在人工智能生命周期内实施与识别、评估和减轻风险相关的事项，监测与人工智能相关的安全事故，并建立风险管理系统以确保安全。对于因担心出现功能错误、数据偏差和滥用等风险而导致累计计算量超过一定标准的人工智能系统，更应如此。
最后，对于高影响力人工智能（定义为可能对公民的生命、身体和基本权利产生重大影响的事物），人工智能服务提供商必须进行事先审查，以确定其使用的人工智能是否属于高影响力人工智能（第33条）。如果经事先审查确定其属于高影响力人工智能，则必须采取以下措施以确保人工智能的安全性和可靠性：1）建立并实施风险管理计划；2）在技术可行的范围内，建立并实施人工智能最终结果解释计划，包括最终结果的推导依据、主要推导标准以及人工智能开发和使用过程中所用学习数据的概述；3）建立并实施用户保护计划；4）对高影响力人工智能进行人工管理和监督；5）准备并保存证明各项安全可靠措施内容的文档。 6）委员会审议并决定的其他措施，以确保高影响力人工智能的安全性和可靠性（第 34 条）。
我们已审阅了《人工智能框架法》的概要和关键条款。然而，仅就该法本身而言，对于高影响力人工智能的定义、确保透明度和安全性的具体方法和手段，以及具备一定学习积累水平的高性能人工智能的标准，仍存在一些不明确之处。正如前文所述，这些问题将在《人工智能框架法》的附属法规中进行具体规定。政府近期公布了该立法的方向和草案，我们将在后续文章中继续提供详细信息。
- 查看更多相关专栏
La loi fondamentale sur l'IA : les lois essentielles pour les startups en IA
Cet article est une contribution de Maître Jaesik Moon du cabinet Choi & Lee. Si vous souhaitez partager du contenu de qualité destiné aux startups, veuillez contacter l'équipe éditoriale de Venture Square à l'adresse editor@venturesquare.net.
À ses débuts, Chat GPT était surtout utilisé pour s'amuser, plaisanter et penser que l'IA n'était qu'une mode passagère. Lancé en novembre 2022, Chat GPT a vu son essor fulgurant, et moins de trois ans plus tard, l'IA semble omniprésente. Elle est déjà utilisée pour créer des documents, des photos, des fichiers audio et vidéo, et même des documents juridiques rédigés par des avocats. Si elle a indéniablement amélioré l'efficacité du travail et du quotidien, comme pour toute nouvelle technologie, les inquiétudes quant à ses conséquences négatives potentielles sont importantes. Le risque d'utilisation de l'IA à des fins criminelles, comme le phishing vocal, est réel, et des cas de personnes ayant fait aveuglément confiance à l'IA pour la rédaction de documents juridiques ont été signalés, aboutissant à des documents soumis citant des précédents erronés, ce qui peut entraîner des préjudices.
Pour faire face aux risques liés au développement et à la diffusion rapides de l'IA, des pays majeurs comme les États-Unis, le Japon et l'Union européenne mettent en place des lois et des systèmes encadrant l'IA. Consciente de la nécessité de telles normes, la Corée du Sud a promulgué en décembre 2024 la loi-cadre sur l'IA (officiellement intitulée « Loi-cadre sur le développement de l'intelligence artificielle et la création d'une fondation de confiance »), dont l'entrée en vigueur est prévue pour janvier 2026. Récemment, le ministère des Sciences et des TIC a élaboré et publié les orientations et le projet de textes d'application de cette loi-cadre et mène actuellement une consultation publique. Compte tenu de l'émergence de nombreuses start-ups spécialisées dans l'IA, et de la clientèle de notre cabinet, nous estimons qu'une bonne compréhension de la loi-cadre sur l'IA est essentielle. Par conséquent, dans cette rubrique, nous présenterons les dispositions et le contenu fondamentaux de cette loi-cadre, tandis que les articles suivants aborderont les orientations et les principaux éléments des textes d'application récemment publiés.
1. Objet et orientation de la promulgation de la Loi fondamentale sur l'IA
L’article 1 de la loi-cadre sur l’IA stipule : « La présente loi vise à protéger les droits et intérêts des citoyens et à contribuer à l’amélioration de leur qualité de vie et au renforcement de la compétitivité nationale en définissant les principes fondamentaux nécessaires au développement harmonieux de l’intelligence artificielle et à l’établissement d’un climat de confiance. » Comme son nom l’indique, elle met davantage l’accent sur le développement et l’établissement d’un climat de confiance et de sécurité dans le secteur de l’IA que sur sa réglementation.
Par conséquent, une part importante de la loi fondamentale sur l'IA concerne la gouvernance des politiques en matière d'IA et le soutien au développement de l'industrie, visant à favoriser l'essor des technologies et des secteurs liés à l'IA. Le reste porte sur les obligations et les responsabilités des entreprises quant à la mise en place d'un environnement sûr et fiable pour l'IA. Cette dernière section sera probablement cruciale pour les entreprises gérant des startups spécialisées dans l'IA.
2. Dispositions clés de la loi fondamentale sur l'IA
Tout d'abord, examinons la mise en place d'une gouvernance nationale des politiques relatives à l'IA, en lien avec le développement des technologies d'IA et des industries connexes. La loi-cadre sur l'IA institue un Conseil national de soutien à l'IA, placé sous l'autorité du Président, et autorise la création de sous-comités et de comités spéciaux chargés de mener à bien les travaux du Conseil par domaine spécialisé ou question spécifique (articles 7 à 10). Elle désigne et gère également un Centre de politiques d'IA et un Institut de recherche sur la sécurité de l'IA (articles 11 et 12), jetant ainsi les bases d'un travail et d'un soutien en matière d'élaboration de politiques d'IA, de recherche et développement, et dans d'autres domaines.
En outre, la loi-cadre sur l'IA a établi une base pour diverses mesures de soutien gouvernementales, notamment le soutien au développement et à l'utilisation sûre de la technologie de l'IA (article 13), la promotion de projets de normalisation de la technologie de l'IA (article 14), le soutien à l'introduction et à l'utilisation de la technologie de l'IA (article 16), le soutien aux petites et moyennes entreprises et aux jeunes pousses (articles 17 et 18) et la promotion de politiques relatives aux centres de données d'IA (article 25), afin que le gouvernement puisse fournir diverses mesures de soutien au développement, à l'introduction et à l'utilisation de la technologie de l'IA pour faire progresser l'industrie de l'IA.
Enfin, en tant que réglementations visant à établir une base sûre et fiable pour l'IA, les dispositions suivantes ont été établies : les principes d'éthique de l'IA (article 27), un comité d'éthique de l'IA privé et autonome (article 28) et le soutien de diverses politiques, inspections et certifications pour garantir la sécurité et la fiabilité.
Examinons maintenant les obligations et les responsabilités des entreprises en matière de création d'un environnement sûr et fiable pour l'IA. La loi-cadre relative à l'IA impose aux entreprises proposant des IA à fort impact et des IA génératives l'obligation d'assurer la transparence quant à leur utilisation de l'IA (article 31) et l'obligation de garantir la sécurité (article 32). Plus précisément, les entreprises proposant des IA à fort impact sont tenues de procéder à un examen préalable afin de déterminer si l'IA qu'elles fournissent remplit les conditions requises pour être qualifiée d'IA à fort impact (article 33), d'établir et de mettre en œuvre des plans de gestion des risques, d'établir et de mettre en œuvre des mesures de protection des utilisateurs, et de superviser et de gérer les IA à fort impact. Par ailleurs, pour les entreprises proposant des IA sans siège social ni établissement stable au Royaume-Uni qui répondent à certains critères, la loi prévoit également l'obligation de désigner un représentant au Royaume-Uni (article 36).
Ensuite, à titre de mesure ou de sanction en cas de violation des obligations imposées à l'exploitant d'entreprise comme indiqué ci-dessus, le ministre des Sciences et des TIC est habilité à enquêter sur les faits et à émettre des ordres de suspension ou de correction (article 40), et un exploitant d'entreprise d'intelligence artificielle qui ne se conforme pas à cela peut être passible d'une amende pouvant aller jusqu'à 30 millions de wons (article 43).
3. Détails précis des obligations des opérateurs d'entreprises d'IA
Parmi les dispositions ci-dessus, les parties de la loi fondamentale sur l'IA auxquelles les startups spécialisées en IA et les autres opérateurs d'entreprises d'IA devraient accorder une attention particulière sont les obligations des opérateurs d'entreprises d'IA des articles 31 à 34. Comme indiqué ci-dessus, celles-ci sont globalement divisées en trois catégories : l'obligation d'assurer la transparence de l'IA (article 31), l'obligation d'assurer la sécurité de l'IA (article 32) et les obligations des opérateurs d'entreprises d'IA à fort impact (articles 33 et 34).
Premièrement, l’obligation d’assurer la transparence de l’IA (article 31) stipule que si un produit ou un service fourni à un consommateur est exploité par une IA, ou si un résultat est généré par une IA ou est difficile à distinguer de la réalité, ce fait doit être notifié ou affiché.
Plus précisément, lorsqu'un opérateur d'entreprise utilisant l'IA entend fournir un produit ou un service utilisant une intelligence artificielle à fort impact ou une intelligence artificielle générative, il doit « informer à l'avance » l'utilisateur que le produit ou le service est exploité sur la base de l'intelligence artificielle (article 1) ; lorsqu'il fournit une intelligence artificielle générative ou un produit ou service l'utilisant, il doit « indiquer » le fait que le résultat a été généré par l'intelligence artificielle (article 2) ; et lorsqu'il fournit un son, une image ou une vidéo virtuelle difficilement distinguable de la réalité à l'aide d'un système d'intelligence artificielle, il doit « informer ou afficher de manière à permettre à l'utilisateur de reconnaître clairement » le fait que le résultat a été généré par le système d'intelligence artificielle (article 3).
Ensuite, l’obligation d’assurer la sécurité de l’intelligence artificielle (article 32) exige la mise en œuvre de mesures relatives à l’identification, à l’évaluation et à l’atténuation des risques tout au long du cycle de vie de l’intelligence artificielle, à la surveillance des accidents de sécurité liés à l’intelligence artificielle et à la mise en place d’un système de gestion des risques pour assurer la sécurité, dans le cas des systèmes d’intelligence artificielle où le volume de calcul cumulé utilisé pour l’apprentissage dépasse une certaine norme, en raison des préoccupations concernant l’apparition de risques tels que des erreurs fonctionnelles, des biais de données et une utilisation abusive.
Enfin, concernant les IA à fort impact, définies comme susceptibles d'avoir un impact significatif sur la vie, l'intégrité physique et les droits fondamentaux des citoyens, les fournisseurs de services d'IA sont tenus de procéder à un examen préalable afin de déterminer si l'IA qu'ils utilisent relève de cette catégorie (article 33). Si, à l'issue de cet examen, l'IA est qualifiée de « hautement impactante », les mesures suivantes doivent être prises pour garantir sa sécurité et sa fiabilité : 1) mise en place et application d'un plan de gestion des risques ; 2) mise en place et application d'un plan d'explication des résultats finaux obtenus grâce à l'IA, précisant, dans les limites du possible, les principaux critères utilisés pour les obtenir et un aperçu des données d'apprentissage utilisées pour son développement et son utilisation ; 3) mise en place et application d'un plan de protection des utilisateurs ; 4) gestion et supervision humaines des IA à fort impact ; 5) élaboration et conservation de documents attestant des mesures mises en œuvre pour garantir la sécurité et la fiabilité ; et 6) toute autre mesure examinée et décidée par le Comité pour garantir la sécurité et la fiabilité des IA à fort impact (article 34).
Nous avons examiné les grandes lignes et les principales dispositions de la loi-cadre sur l'IA. Cependant, cette loi, à elle seule, reste imprécise quant à la définition de l'IA à fort impact, aux méthodes et moyens précis permettant de satisfaire aux obligations de transparence et de sécurité, ainsi qu'aux normes applicables à une IA performante dotée d'un certain niveau d'apprentissage cumulé. Ces aspects seront spécifiquement réglementés par les textes d'application de la loi-cadre sur l'IA, comme expliqué précédemment. Le gouvernement ayant récemment annoncé l'orientation et le projet de cette législation, nous continuerons à fournir des informations détaillées dans de prochains articles.
- Voir plus de colonnes connexes
You must be logged in to post a comment.