-3만개 취약점 패턴으로 AI 안전 지킨다
-94.4% 침투율로 글로벌 AI 기업들도 인정
-AI 기본법 통과로 AI 보안 시장의 수혜 기업으로 주목
-창업 1년 만에 글로벌 AI 기업 진단까지… ‘보안+윤리’ 결합한 솔루션 주목
지난해 11월, AI 챗봇 제미나이가 ‘제발 죽어줘’라는 부적절한 답변을 내놓아 논란이 일었다. 최근에는 반복적으로 우회 질문을 해서 폭력이나 범죄 관련 답변을 이끌어내는 ‘다중 탈옥’ 수법도 횡행하고 있다. 또한 AI가 허위 정보를 만들어내는 ‘환각'(Hallucination) 현상도 빈번히 발생하고 있으며, AI를 이용한 보이스피싱과 이메일 사기도 급증하고 있다.
이러한 AI 안전 문제를 해결하기 위해 나선 스타트업이 있다. 에임인텔리전스(AIM Intelligence)는 AI 사용자의 악의적인 시도를 원천 차단하는 기술을 보유한 AI 보안 전문 스타트업이다. 에임인텔리전스는 피싱 이메일, 허위 정보, 딥페이크 이미지 제작은 물론, 해킹과 사이버 공격 시도까지 효과적으로 막아낸다.
“AI 기술이 발전할수록 보안의 중요성도 커지고 있습니다. 저희는 AI가 윤리적이고 안전하게 사용될 수 있도록 돕는 것을 목표로 합니다.”
서울 강남구 코엑스 SKT AI Lab for Startups에서 만난 유상윤 에임인텔리전스 대표는 이렇게 회사의 비전을 설명했다. 사명 에임인텔리전스(AIM Intelligence)의 ‘에임’은 AI와 ‘조준하다’라는 이중적 의미를 나타내고 있다. 회사 로고의 빨간 점은 정확한 조준점을 상징하며, AI 보안의 취약점을 정밀하게 찾아내 제거하겠다는 의지를 담고 있다.
서울대 전기정보공학과 석사 출신인 유 대표는 AI 윤리를 연구하던 중 가상머신최적화 연구실의 후배와 함께 2024년 초 에임인텔리전스를 창업했다. 창업 이후 짧은 기간 동안 ‘메타 라마 임팩트 이노베이션 어워드’ 수상, 과학기술정보통신부 ‘AI 레드팀 챌린지’ 우승, SK 텔레콤의 ‘AI 스타트업 액셀러레이터 2기’ 선정 등 주목할 만한 성과를 거뒀다. 이러한 성과를 토대로 에임인텔리전스는 매쉬업벤처스로부터 시드 투자를 유치했다. ‘AI 스타트업 액셀러레이터 2기’ 프로그램은 SK텔레콤(대표 유영상)이 하나은행(은행장 이승열)과 함께 AI 스타트업을 육성하기 위해 마련한 프로그램이다. 선정된 기업은 무료 사무공간, 사업 멘토링, 특허, 투자, 홍보 등을 지원받는다.
창업한 지 1년도 안됐지만 에임인텔리전스는 이미 국내 주요 통신사가 에임레드로 자사 AI 서비스를 진단했고 글로벌 AI 기업 앤트로픽(Anthropic)의 클로드(Claude) 모델 진단 프로젝트에도 참여하는 등 그 가치를 인정받고 있다.
■ 혁신적인 ‘공격’과 ‘방어’ 솔루션 개발
에임인텔리전스의 대표 제품은 ‘에임레드’(AIM Red)와 ‘에임가드’(AIM Guard)다. 에임레드는 AI 시스템의 취약점을 자동적으로 찾아내는 진단 도구이다. 기존에는 보안 전문가가가 직접 취약점을 찾아내는 ‘휴먼 레드팀’ 방식을 사용했지만, 에임레드는 이 과정을 자동화하여 효율성을 높였다.
에임레드는 해커의 관점에서 다양한 방식으로 AI 시스템을 시험한다. 예를 들어 직접적인 해킹 코드 요청은 AI가 거부하지만, 특정 상황을 가정한 우회적 요청에는 취약할 수 있다는 점을 활용한다.
“그동안 알려진 취약점 패턴들을 체계화했습니다. AI에 특정 역할과 임무를 부여하여 공격을 시도하고, 사이버공격 코드나 허위 정보 제작 같은 특정 주제와 결합하며 패턴을 발전시킵니다. 커뮤니티와 대회를 통해 계속해서 새로운 패턴을 찾아나가고 있습니다.”
에임인텔리전스는 다양한 공격 패턴과 주제를 만든 후 데이터를 합성하여 (synthetic data generation) 이를 증강하는 방식으로 레드티밍 데이터 생성을 자동화하고 있다. 에임인텔리전스는 현재 3만 개가 넘는 취약점 패턴을 보유하고 있다. 특히 한 번의 질문과 답변만 하는 ‘싱글턴'(single-turn) 방식을 넘어, 여러 차례 대화를 주고받는 ‘멀티턴'(multi-turn) 방식의 공격도 수행하고 있다. 멀티턴 방식은 AI가 이전 대화의 맥락을 기억하고 이를 바탕으로 적절한 응답을 생성하는 것이 핵심이다. 최근 AI 모델들은 단순한 공격은 막아내지만, 복잡한 대화 과정에서 취약점을 드러내고 있다.
에임가드는 이러한 취약점을 방어하는 솔루션이다. 에임레드가 취약점을 찾아내는 ‘공격’ 도구라면, 에임가드는 이러한 취약점을 막아내는 ‘방어’ 도구라고 할 수 있다.
에임가드의 핵심은 입력과 출력 단계 모두에서 작동하는 이중 방어 체계라는 점이다. 입력 단계에서는 사용자의 악의적인 시도를 사전에 차단하고 출력 단계에서는 AI의 답변이 적절한지 검토하여 욕설, 개인정보 유출, 저작권 침해 등을 방지한다.
두 제품 모두 뛰어난 성능을 보여준다. 에임레드는 마이크로소프트의 PyRIT(33.3%)보다 높은 94.4%의 침투율을 기록했다. 같은 시간 동안 약 3배 더 많은 취약점을 발견할 수 있다는 의미다. 에임가드는 보호율 90%를 달성한 메타의 라마가드(Llama Guard)를 뛰어넘는 99%의 보호율을 달성했다. 특히 한국어와 한국 문화권의 특수성을 반영한 취약점 진단이 가능하다는 것이 강점이다. 예를 들어 젠더 갈등이나 군대 관련 이슈처럼 한국 사회에서 특히 민감한 주제들에 대한 침투와 보호를 효과적으로 수행할 수 있다.
유 대표는 “전통적인 사이버 보안은 소프트웨어 코드를 분석하지만 AI는 ‘블랙박스’ 같아서 다양한 입력값으로 문제점을 찾아야 합니다. 또한 AI 보안은 윤리적 문제와도 밀접하게 연관되어 있습니다.“라며 AI 보안의 특수성에 대해 설명했다.
■ AI기본법으로 AI 보안 중요성 커져
2024년 12월 26일 국회를 통과한 AI 기본법(인공지능 발전과 신뢰 기반 조성 등에 관한 기본법)으로 AI 보안의 중요성은 더욱 커질 전망이다. 이 법은 EU에 이어 세계에서 두 번째로 제정된 포괄적 AI 규제법으로, AI의 투명성과 안전성 확보를 의무화했다. 이번 법안은 인공지능에 관한 국가 차원의 거버넌스 체계를 정립하고 인공지능 산업을 체계적으로 육성하며, 인공지능의 기술적 한계, 오남용 등으로 인해 발생가능한 문제를 사전에 예방하기 위한 내용으로 구성돼 있다. 법에는 투명성 확보 의무, 안전성 확보 의무, 사업자 책무, 민간 자율적으로 AI 안전성, 신뢰성 검인증, 인공지능 영향 평가에 대한 지원 근거도 함께 포함되어 있다.
유 대표는 한국이 AI 보안 분야에서 다소 뒤처져 있다고 진단하면서 “미국은 AI 보안 산업이 자리잡혀 있고 관련 법과 제도도 마련돼 있습니다. 반면 한국은 이제 막 관심을 갖기 시작했습니다. 최근에 AI 기본법이 통과되면서 AI 보안 산업이 발전할 것으로 보입니다.“라고 설명했다.
■ 안전한 AI 시대를 꿈꾸며
에임인텔리전스는 현재 컨설팅 기반으로 제공하는 서비스를 곧 구독형 SaaS로 확대할 계획이다. 또한 금융, 의료 등 특수 분야별 맞춤형 보안 솔루션도 준비 중이며, 미국 시장 진출도 추진하고 있다.
장기적으로는 생성형 AI를 넘어 로봇, 자율주행차 등 물리적 AI 보안까지 영역을 넓히려 한다. 유 대표는 ”로봇이나 자율주행차처럼 물리적 형태를 가진 AI가 등장하면 안전성이 더욱 중요해질 것”이라며 “그때 꼭 필요한 기업이 되는 것이 저희의 목표”라고 강조했다. 이를 위해 AI 안전성, 보안 연구자, 규제 전문가 등 다양한 분야의 인재를 적극 영입하고 있다.
AI-created fake information and hacking prevention… Aim Intelligence’s innovative technology
– Protecting AI safety with 30,000 vulnerability patterns
– Recognized by global AI companies with a 94.4% penetration rate
-Attention as a beneficiary company in the AI security market with the passage of the AI Basic Law
– From Establishment to Global AI Company Diagnosis in Just One Year… Attention on Solutions Combining ‘Security + Ethics’
Last November, AI chatbot Gemini caused controversy when it gave the inappropriate answer, “Please die.” Recently, the “multiple jailbreak” method, which repeatedly asks indirect questions to elicit answers related to violence or crime, has also become rampant. In addition, the phenomenon of “hallucination” in which AI creates false information is occurring frequently, and voice phishing and email fraud using AI are also on the rise.
There is a startup that has stepped up to solve these AI safety issues. AIM Intelligence is an AI security startup that possesses technology that blocks malicious attempts by AI users at the source. AIM Intelligence effectively blocks phishing emails, false information, and deepfake image creation, as well as hacking and cyberattack attempts.
“As AI technology advances, the importance of security also increases. Our goal is to help AI be used ethically and safely.”
This is how Sang-yoon Yoo, CEO of AIM Intelligence, explained the company’s vision, which we met at the SKT AI Lab for Startups in COEX, Gangnam-gu, Seoul. The “aim” in the company’s name, AIM Intelligence, has a dual meaning of AI and “aim.” The red dot on the company logo symbolizes an accurate crosshair, and it contains the will to precisely find and eliminate vulnerabilities in AI security.
CEO Yoo, who holds a master's degree in electrical and information engineering from Seoul National University, founded AimIntelligence in early 2024 with a junior from the Virtual Machine Optimization Lab while studying AI ethics. In a short period of time since founding the company, it has achieved notable results such as winning the 'Meta Rama Impact Innovation Award', winning the 'AI Red Team Challenge' of the Ministry of Science and ICT, and being selected for SK Telecom's 'AI Startup Accelerator 2nd Batch'. Based on these achievements, AimIntelligence attracted seed investment from Mashup Ventures. The 'AI Startup Accelerator 2nd Batch' program is a program created by SK Telecom (CEO Yoo Young-sang) and Hana Bank (CEO Lee Seung-yeol) to foster AI startups. Selected companies will receive support such as free office space, business mentoring, patents, investment, and public relations.
Although it has not even been a year since its establishment, Aim Intelligence has already been recognized for its value, with major domestic telecommunications companies diagnosing their AI services with Aimred and participating in the Claude model diagnosis project of global AI company Anthropic.
■ Development of innovative ‘attack’ and ‘defense’ solutions
AIM Intelligence's flagship products are 'AIM Red' and 'AIM Guard'. AIM Red is a diagnostic tool that automatically finds vulnerabilities in AI systems. Previously, security experts used the 'human red team' method to find vulnerabilities, but AIM Red has automated this process to increase efficiency.
Aimred tests AI systems in a variety of ways from a hacker’s perspective, for example by exploiting the fact that while direct requests for hacking code are rejected by AI, they can be vulnerable to roundabout requests based on specific scenarios.
“We have systematized known vulnerability patterns. We have developed patterns by assigning specific roles and tasks to AI to attempt attacks, and combining them with specific topics such as cyberattack code or disinformation production. We are continuously discovering new patterns through the community and competitions.”
AimIntelligence automates the creation of redtiming data by creating various attack patterns and topics and then augmenting them with synthetic data generation. AimIntelligence currently has over 30,000 vulnerability patterns. In particular, it is performing attacks in the 'multi-turn' method, which involves multiple conversations, rather than the 'single-turn' method, which involves only one question and answer. The key to the multi-turn method is that the AI remembers the context of the previous conversation and generates an appropriate response based on it. Recent AI models are blocking simple attacks, but they are revealing vulnerabilities in complex conversation processes.
AimGuard is a solution that defends against these vulnerabilities. If AimRed is an 'attack' tool that finds vulnerabilities, AimGuard can be said to be a 'defense' tool that blocks these vulnerabilities.
The core of AimGuard is its dual defense system that operates at both the input and output stages. At the input stage, it blocks malicious attempts by the user in advance, and at the output stage, it checks whether the AI's answers are appropriate to prevent abusive language, personal information leakage, and copyright infringement.
Both products show excellent performance. Aimred recorded a penetration rate of 94.4%, which is higher than Microsoft's PyRIT (33.3%). This means that it can find about three times more vulnerabilities in the same amount of time. Aimguard achieved a protection rate of 99%, surpassing Meta's Llama Guard, which achieved a protection rate of 90%. In particular, its strength is that it can diagnose vulnerabilities that reflect the unique characteristics of the Korean language and Korean culture. For example, it can effectively perform penetration and protection for topics that are particularly sensitive in Korean society, such as gender conflicts or military-related issues.
“Traditional cybersecurity analyzes software code, but AI is like a ‘black box’ and needs to find problems with various input values. AI security is also closely related to ethical issues,” said CEO Yoo, explaining the special nature of AI security.
■ The importance of AI security increases with the AI Basic Law
The importance of AI security is expected to increase further with the passage of the Framework Act on AI (Basic Act on the Development of Artificial Intelligence and Creation of a Trust Base, etc.) by the National Assembly on December 26, 2024. This law is the second comprehensive AI regulation law enacted in the world after the EU, and mandates the transparency and safety of AI. This bill consists of contents to establish a national governance system for AI, systematically foster the AI industry, and prevent problems that may arise due to the technical limitations and misuse of AI in advance. The law also includes the obligation to ensure transparency, the obligation to ensure safety, the responsibility of business operators, and the basis for supporting private sector autonomous AI safety, reliability verification, and AI impact assessment.
Representative Yoo diagnosed that Korea is somewhat behind in the AI security field, explaining, “The US has an established AI security industry and related laws and systems in place. On the other hand, Korea is just beginning to take interest. With the recent passage of the AI Basic Act, the AI security industry is expected to develop.”
■ Dreaming of a safe AI era
Aim Intelligence plans to expand its current consulting-based services to subscription-based SaaS soon. It is also preparing customized security solutions for specialized fields such as finance and healthcare, and is also pursuing entry into the US market.
In the long term, we plan to expand our scope beyond generative AI to include physical AI security such as robots and self-driving cars. CEO Yoo emphasized, “When physical AI such as robots and self-driving cars emerge, safety will become even more important,” and “Our goal is to become a company that will be indispensable at that time.” To this end, we are actively recruiting talents from various fields such as AI safety, security researchers, and regulatory experts.
AIが作る偽情報・ハッキングを防ぐ…エイムインテリジェンスの革新技術
-3万個の脆弱性パターンでAI安全を守る
-94.4%の浸透率でグローバルAI企業も認める
-AI基本法の通過でAIセキュリティ市場の受益企業として注目
-創業1年ぶりにグローバルAI企業診断まで…「セキュリティ+倫理」結合したソリューション注目
昨年11月、AIチャットボットジェミナイが「どうぞ死んでください」という不適切な回答を出して論議が起こった。最近は繰り返しバイパス質問をして暴力や犯罪関連の回答を引き出す「多重脱獄」手法も横行している。また、AIが虚偽情報を生み出す「幻覚」（Hallucination）現象も頻繁に発生しており、AIを利用したボイスフィッシングや電子メール詐欺も急増している。
このようなAI安全問題を解決するためにスパイラルスタートアップがある。エイムインテリジェンス(AIM Intelligence)はAIユーザーの悪意のある試みを源泉遮断する技術を保有したAIセキュリティ専門スタートアップだ。エイムインテリジェンスはフィッシングメール、虚偽情報、ディープフェイクイメージ制作はもちろん、ハッキングとサイバー攻撃の試みまで効果的に防ぎます。
「AI技術が進化するにつれて、セキュリティの重要性も高まっています。私たちは、AIが倫理的かつ安全に使用されるのを助けることを目指しています。」
ソウル江南区COEX SKT AI Lab for Startupsで会ったユ・サンユンエイムインテリジェンス代表はこのように会社のビジョンを説明した。使命エイムインテリジェンス（AIM Intelligence）の「エイム」は、AIと「照準する」という二重的意味を示している。会社のロゴの赤い点は正確な照準点を象徴し、AIセキュリティの脆弱性を正確に見つけて除去するという意志を込めている。
ソウル大学電気情報工学科修士出身のユ代表は、AI倫理を研究している間、仮想マシン最適化研究室の後輩とともに2024年初めにエイムインテリジェンスを創業した。創業以後短期間で「メタラマインパクトイノベーションアワード」受賞、科学技術情報通信部「AIレッドチームチャレンジ」優勝、SKテレコムの「AIスタートアップアクセラレータ2期」選定など注目すべき成果を収めた。この成果に基づいて、エイムインテリジェンスはマッシュアップベンチャーズからシード投資を誘致した。 「AIスタートアップアクセラレータ2期」プログラムはSKテレコム(代表ユ・ヨンサン)がハナ銀行(銀行長イ・スンヨル)と共にAIスタートアップを育成するために設けたプログラムだ。選ばれた企業は無料事務空間、事業メンタリング、特許、投資、広報などを支援される。
創業してから1年も経っていないが、エイムインテリジェンスはすでに国内主要通信社がエイムレッドで自社のAIサービスを診断しており、グローバルAI企業アントロピックのクロードモデル診断プロジェクトにも参加するなど、その価値が認められている。 。
■革新的な「攻撃」と「防御」ソリューションの開発
エイムインテリジェンスの代表製品は「エイムレッド」（AIM Red）と「エイムガード」（AIM Guard）だ。エイムレッドはAIシステムの脆弱性を自動的に見つける診断ツールです。従来はセキュリティ専門家が直接脆弱性を見つけ出す「ヒューマンレッドチーム」方式を使用していたが、エイムレッドはこの過程を自動化して効率性を高めた。
エイムレッドはハッカーの観点からさまざまな方法でAIシステムをテストします。たとえば、直接ハッキングコード要求はAIが拒否されますが、特定の状況を想定したバイパス要求には脆弱である可能性があることを利用します。
「これまで知られている脆弱性パターンを体系化しました。 AIに特定の役割とミッションを与えて攻撃を試み、サイバー攻撃コードや虚偽情報制作などの特定のテーマと組み合わせてパターンを発展させます。コミュニティとコンテストを通じて、新しいパターンを探し続けています。」
エイムインテリジェンスは、さまざまな攻撃パターンとトピックを作成した後、データを合成して(synthetic data generation)これを増強する方法でレッドティーミングデータ生成を自動化している。エイムインテリジェンスは現在3万を超える脆弱性パターンを保有している。特に一度の質問と回答だけをする「シングルトン」（single-turn）方式を超え、複数回の会話をやりとりする「マルチターン」（multi-turn）方式の攻撃も行っている。マルチターン方式は、AIが以前の会話の文脈を記憶し、それに基づいて適切な応答を生成することが核心である。最近、AIモデルは単純な攻撃は防いでいるが、複雑な対話過程で脆弱性を明らかにしている。
エイムガードはこの脆弱性を守るソリューションです。エイムレッドが脆弱性を見つける「攻撃」ツールであれば、エイムガードはこのような脆弱性を防ぐ「防御」ツールといえる。
エイムガードの核心は、入力と出力の両方の段階で動作する二重防御方式です。入力段階ではユーザーの悪意のある試みを事前に遮断し、出力段階ではAIの回答が適切かどうかを検討し、悪口、個人情報の漏洩、著作権侵害などを防止する。
両製品とも優れた性能を示す。エイムレッドは、マイクロソフトのPyRIT（33.3％）より高い94.4％の浸透率を記録した。同じ時間に約3倍、より多くの脆弱性を発見できるという意味だ。エイムガードは、保護率90％を達成したメタのラマガード（Llama Guard）を超える99％の保護率を達成した。特に韓国語と韓国文化圏の特殊性を反映した脆弱性診断が可能であることが強みだ。例えば、ジェンダー葛藤や軍隊関連の問題のように、韓国社会で特に敏感なテーマに対する侵入と保護を効果的に遂行することができる。
ユ代表は「伝統的なサイバーセキュリティはソフトウェアコードを分析しますが、AIは「ブラックボックス」のようで、さまざまな入力値で問題を見つける必要があります。また、AIセキュリティは倫理的問題とも密接に関連しています。
■AI基本法でAIセキュリティの重要性が大きくなる
2024年12月26日、国会を通過したAI基本法（人工知能発展と信頼基盤の造成などに関する基本法）で、AIセキュリティの重要性はさらに大きくなる見通しだ。この法律はEUに続き、世界で2番目に制定された包括的AI規制法で、AIの透明性と安全性確保を義務化した。今回の法案は、人工知能に関する国家レベルのガバナンス体系を確立し、人工知能産業を体系的に育成し、人工知能の技術的限界、誤乱用などにより発生可能な問題を事前に予防するための内容で構成されている。法には、透明性確保義務、安全性確保義務、事業者責務、民間自律的にAI安全性、信頼性検認証、人工知能影響評価に対する支援根拠も含まれている。
ユ代表は韓国がAIセキュリティ分野で多少遅れていると診断し、「米国はAIセキュリティ産業が位置づけられ、関連法と制度も設けられています。一方、韓国は今興味を持ち始めました。最近、AI基本法が合格するにつれて、AIセキュリティ業界が発展しているようです。
■安全なAI時代を夢見て
エイムインテリジェンスは現在、コンサルティングベースで提供するサービスをまもなく購読型SaaSに拡大する計画だ。また、金融、医療など特殊分野別にカスタマイズされたセキュリティソリューションも準備中であり、米国市場への進出も推進している。
長期的には、生成型AIを超えてロボット、自律走行車など物理AIセキュリティまで領域を広げようとしている。ユ代表は「ロボットや自律走行車のように物理的な形態を持ったAIが登場すれば安全性がさらに重要になるだろう」とし「その時、必ず必要な企業になることが私たちの目標」と強調した。このため、AI安全性、セキュリティ研究者、規制専門家など多様な分野の人材を積極的に迎え入れている。
防止人工智能创建的虚假信息和黑客攻击… Aim Intelligence的创新技术
-3万种漏洞模式保护AI安全
– 获得全球AI公司认可，渗透率高达94.4%
-随着AI基本法的通过，作为AI安防市场受益企业受到关注
-成立仅一年就被诊断为全球人工智能公司…关注“安全+道德”相结合的解决方案
去年 11 月，人工智能聊天机器人 Gemini 给出了一个不恰当的回复“请去死吧”，引发了争议。最近，通过反复提出转移性问题来引出与暴力或犯罪有关的答案的“多次越狱”方法也变得普遍。此外，人工智能制造虚假信息的“幻觉”现象频繁发生，利用人工智能的语音钓鱼和电子邮件欺诈也在迅速增加。
有一家初创公司已经加紧解决这些人工智能安全问题。 AIM Intelligence 是一家人工智能安全初创公司，拥有阻止人工智能用户恶意尝试的技术。 Aim Intelligence 可以有效阻止网络钓鱼电子邮件、虚假信息、深度伪造图像创建以及黑客和网络攻击尝试。
“随着人工智能技术的发展，安全的重要性也随之增加。我们的目标是帮助人工智能以合乎道德和安全的方式使用。”
Aim Intelligence 首席执行官 Sang-yoon Yoo 在首尔江南区 COEX 的 SKT 初创企业人工智能实验室会面，他解释了公司的愿景如下。 AIM Intelligence的名称“Aim”代表了AI和“瞄准”的双重含义。公司标志中的红点象征着准确的瞄准点，蕴含着公司精准发现并消除人工智能安全漏洞的意愿。
拥有首尔国立大学电气和信息工程硕士学位的首席执行官 Yoo 于 2024 年初与虚拟机优化实验室的一名大三学生创立了 Aim Intelligence，同时研究人工智能伦理。成立短短的时间内，就取得了荣获“Metarama影响力创新奖”、荣获科技部“AI红队挑战赛”、入选“第二届AI”等令人瞩目的成就。 SK Telecom 的“创业加速器”。基于这些成就，Aim Intelligence 吸引了 Mashup Ventures 的种子投资。 “AI创业加速器第二阶段”计划是SK Telecom（首席执行官Young-sang Yoo）与韩亚银行（首席执行官Seung-yeol Lee）共同准备的旨在培育AI初创公司的计划。选定的公司将获得免费办公空间、业务指导、专利、投资和公共关系等支持。
虽然成立不到一年，但Aim Intelligence的价值已经得到认可，国内各大电信公司都使用Aim Red诊断其AI服务，并参与全球AI公司Anthropic的Claude模型诊断项目。
■ 开发创新的“进攻”和“防御”解决方案
Aim Intelligence的代表产品是“AIM Red”和“AIM Guard”。 Aimred 是一种自动发现人工智能系统漏洞的诊断工具。此前，采用的是安全专家直接发现漏洞的“人类红队”方法，但 Aimred 通过自动化这一过程提高了效率。
Aimred 从黑客的角度以多种方式测试人工智能系统。例如，人工智能拒绝直接的黑客代码请求，但利用了假设某些情况下它可能容易受到间接请求的事实。
“我们已经系统化了已知的漏洞模式。通过为人工智能分配特定的角色和任务，将其与网络攻击代码或创建虚假信息等特定主题相结合，并开发模式来尝试攻击。我们不断通过社区和竞赛发现新模式。”
Aim Intelligence 通过创建各种攻击模式和主题，然后通过合成数据（合成数据生成）来增强它们，从而自动创建重新计时数据。 Aim Intelligence 目前拥有超过 30,000 个漏洞模式。特别是，除了仅询问和回答一个问题的“单轮”方法之外，他们还进行交换多个对话的“多轮”方法攻击。多轮方法的关键是让人工智能记住之前对话的上下文，并据此生成适当的响应。最近的人工智能模型可以阻止简单的攻击，但会在复杂的对话过程中揭示漏洞。
AimGuard 是一种可以防范这些漏洞的解决方案。如果说Aimred是一个发现漏洞的“攻击”工具，那么AimGuard可以说是一个防止这些漏洞的“防御”工具。
AimGuard的核心是它是一个在输入和输出阶段同时运行的双重防御系统。在输入阶段，提前拦截用户的恶意尝试，在输出阶段，审核人工智能的答案是否恰当，防止脏话、个人信息泄露和版权侵权。
两款产品均展现出优异的性能。 AimRed 的渗透率为 94.4%，高于微软的 PyRIT（33.3%）。这意味着在相同的时间内可以发现大约三倍的漏洞。 Aim Guard 实现了 99% 的保护率，超过了元的 Llama Guard，后者实现了 90% 的保护率。特别是，它的优点是可以诊断反映韩国语言和文化特征的漏洞。例如，它可以有效渗透和保护韩国社会特别敏感的话题，例如性别冲突或军事相关问题。
首席执行官 Yoo 表示：“传统的网络安全分析软件代码，但人工智能就像一个‘黑匣子’，需要通过各种输入值来发现问题。 “人工智能安全还与伦理问题密切相关。”他在解释人工智能安全的特殊性时说道。
■ AI基本法出台，AI安全的重要性日益凸显
随着2024年12月26日国会通过《人工智能基本法》（关于人工智能发展和建立信任基础等的基本法），人工智能安全的重要性预计将进一步提高。该法是继欧盟之后全球颁布的第二部全面的人工智能监管法，要求确保人工智能的透明度和安全性。该法案旨在建立国家人工智能治理体系，系统培育人工智能产业，防止因人工智能技术限制和滥用而可能出现的问题。该法律还包括确保透明度的义务、确保安全的义务、经营者的责任以及支持私营部门自主进行人工智能安全可靠性验证和人工智能影响评估的基础。
柳代表诊断韩国在人工智能安全领域有些落后，并表示：“美国拥有成熟的人工智能安全产业以及相关的法律和体系。另一方面，韩国才刚刚开始表现出兴趣。 “随着最近《人工智能基本法》的通过，人工智能安防产业有望发展，”他解释道。
■ 梦想安全的AI时代
Aim Intelligence 计划很快将其目前提供的咨询服务扩展到基于订阅的 SaaS。此外，我们正在为金融、医疗等特殊领域准备定制的安全解决方案，并正在寻求进入美国市场。
从长远来看，我们计划扩展到生成式人工智能之外，涵盖机器人和自动驾驶汽车等物理人工智能安全。 Yoo首席执行官强调，“当机器人或自动驾驶汽车等具有物理形式的人工智能出现时，安全将变得更加重要”，并补充道，“我们的目标是成为当时必不可少的公司。”为此，我们正在积极招募各个领域的人才，包括人工智能安全研究人员和监管专家。
Empêche les fausses informations et le piratage créés par l'IA… La technologie innovante d’Aim Intelligence
-Protéger la sécurité de l'IA avec 30 000 modèles de vulnérabilité
– Reconnu par les entreprises mondiales d'IA avec un taux de pénétration de 94,4 %
-Attention en tant qu'entreprise bénéficiaire sur le marché de la sécurité de l'IA avec l'adoption de l'AI Basic Act
– Diagnostiquée comme une entreprise mondiale d'IA un an seulement après sa création… Soyez attentif aux solutions qui allient « sécurité + éthique »
En novembre dernier, une controverse a éclaté lorsque le chatbot IA Gemini a donné une réponse inappropriée : « S'il vous plaît, mourez ». Récemment, la méthode du « jailbreak multiple » consistant à poser à plusieurs reprises des questions de diversion pour obtenir des réponses liées à la violence ou à la criminalité s'est également répandue. En outre, le phénomène « d'hallucination », dans lequel l'IA crée de fausses informations, se produit fréquemment, et le phishing vocal et la fraude par courrier électronique utilisant l'IA augmentent également rapidement.
Il existe une startup qui s’est avancée pour résoudre ces problèmes de sécurité de l’IA. AIM Intelligence est une startup de sécurité de l'IA dotée d'une technologie permettant de bloquer les tentatives malveillantes des utilisateurs d'IA. Aim Intelligence bloque efficacement les e-mails de phishing, les fausses informations, la création d'images deepfake, ainsi que les tentatives de piratage et de cyberattaque.
« À mesure que la technologie de l’IA se développe, l’importance de la sécurité augmente également. Notre objectif est d’aider l’IA à être utilisée de manière éthique et sûre.
Sang-yoon Yoo, PDG d'Aim Intelligence, rencontré au SKT AI Lab for Startups au COEX, Gangnam-gu, Séoul, a expliqué la vision de l'entreprise comme suit. Le nom « Aim » d'AIM Intelligence représente le double sens d'IA et de « visée ». Le point rouge dans le logo de l'entreprise symbolise un point de visée précis et reflète la volonté de l'entreprise de trouver et d'éliminer avec précision les vulnérabilités de la sécurité de l'IA.
Le PDG Yoo, titulaire d'une maîtrise en ingénierie électrique et informatique de l'Université nationale de Séoul, a fondé Aim Intelligence début 2024 avec un junior du laboratoire d'optimisation des machines virtuelles tout en recherchant l'éthique de l'IA. En peu de temps depuis sa création, l'entreprise a réalisé des réalisations notables telles que remporter le « Metarama Impact Innovation Award », remporter le « AI Red Team Challenge » du ministère des Sciences et des TIC et être sélectionnée comme « 2ème AI Accélérateur de startups» par SK Telecom. Sur la base de ces réalisations, Aim Intelligence a attiré un investissement de démarrage de Mashup Ventures. Le programme « AI Startup Accelerator 2nd Stage » est un programme préparé par SK Telecom (PDG Young-sang Yoo) en collaboration avec Hana Bank (PDG Seung-yeol Lee) pour favoriser les startups d'IA. Les entreprises sélectionnées reçoivent un soutien tel que des bureaux gratuits, un mentorat commercial, des brevets, des investissements et des relations publiques.
Même si moins d'un an s'est écoulé depuis sa création, Aim Intelligence a déjà été reconnue pour sa valeur, avec de grandes entreprises de télécommunications nationales diagnostiquant leurs services d'IA avec Aim Red et participant au projet de diagnostic du modèle Claude de la société mondiale d'IA Anthropic.
■ Développer des solutions innovantes « offensives » et « défensives »
Les produits représentatifs d'Aim Intelligence sont « AIM Red » et « AIM Guard ». Aimred est un outil de diagnostic qui trouve automatiquement les vulnérabilités des systèmes d'IA. Auparavant, la méthode « Human Red Team » était utilisée dans laquelle les experts en sécurité détectaient directement les vulnérabilités, mais Aimred a augmenté l'efficacité en automatisant ce processus.
Aimred teste les systèmes d'IA de différentes manières du point de vue d'un pirate informatique. Par exemple, l’IA rejette les demandes directes de code de piratage, mais profite du fait qu’elle peut être vulnérable aux demandes indirectes dans certaines situations.
« Nous avons systématisé les modèles de vulnérabilité connus. Les attaques sont tentées en attribuant des rôles et des tâches spécifiques à l'IA, en les combinant avec des sujets spécifiques tels que le code de cyberattaque ou la création de désinformation et en développant des modèles. "Nous continuons à découvrir de nouveaux modèles à travers la communauté et les compétitions."
Aim Intelligence automatise la création de données de redtiming en créant divers modèles et sujets d'attaque, puis en les augmentant en synthétisant les données (génération de données synthétiques). Aim Intelligence compte actuellement plus de 30 000 modèles de vulnérabilité. En particulier, au-delà de la méthode « en un seul tour » consistant à poser et à répondre à une seule question, ils mènent également des attaques selon la méthode « à plusieurs tours » qui échangent plusieurs conversations. La clé de la méthode multi-tours est que l’IA se souvienne du contexte des conversations précédentes et génère des réponses appropriées sur cette base. Les modèles d’IA récents bloquent les attaques simples, mais révèlent des vulnérabilités dans les processus de conversation complexes.
AimGuard est une solution qui protège contre ces vulnérabilités. Si Aimred est un outil « d'attaque » qui trouve des vulnérabilités, AimGuard peut être considéré comme un outil de « défense » qui bloque ces vulnérabilités.
La clé d’AimGuard est qu’il s’agit d’un double système de défense qui fonctionne à la fois aux étapes d’entrée et de sortie. Lors de la phase d'entrée, les tentatives malveillantes des utilisateurs sont bloquées à l'avance, et lors de la phase de sortie, les réponses de l'IA sont examinées pour déterminer si elles sont appropriées, évitant ainsi les jurons, les fuites d'informations personnelles et la violation des droits d'auteur.
Les deux produits affichent d'excellentes performances. AimRed a enregistré un taux de pénétration de 94,4%, supérieur au PyRIT de Microsoft (33,3%). Cela signifie qu’environ trois fois plus de vulnérabilités peuvent être découvertes dans le même laps de temps. Aim Guard a atteint un taux de protection de 99 %, surpassant le Llama Guard de la méta, qui a atteint un taux de protection de 90 %. Sa force réside notamment dans la possibilité de diagnostiquer des vulnérabilités qui reflètent les caractéristiques particulières de la langue et de la culture coréennes. Par exemple, il peut infiltrer et protéger efficacement des sujets particulièrement sensibles dans la société coréenne, tels que les conflits de genre ou les questions militaires.
Le PDG Yoo a déclaré : « La cybersécurité traditionnelle analyse le code logiciel, mais l'IA est comme une « boîte noire » et doit trouver des problèmes avec diverses valeurs d'entrée. « La sécurité de l’IA est également étroitement liée aux questions éthiques », a-t-il déclaré, expliquant la nature particulière de la sécurité de l’IA.
■ L'importance de la sécurité de l'IA augmente avec l'AI Basic Act
L’importance de la sécurité de l’IA devrait encore augmenter avec la loi fondamentale sur l’IA (loi fondamentale relative au développement de l’intelligence artificielle et à la création d’une base de confiance, etc.) adoptée par l’Assemblée nationale le 26 décembre 2024. Cette loi est la deuxième loi globale de réglementation de l’IA adoptée dans le monde, après celle de l’UE, et elle impose d’assurer la transparence et la sécurité de l’IA. Ce projet de loi vise à établir un système national de gouvernance de l'intelligence artificielle, à favoriser systématiquement l'industrie de l'intelligence artificielle et à prévenir les problèmes pouvant survenir en raison des limitations techniques et de l'utilisation abusive de l'intelligence artificielle. La loi comprend également l'obligation d'assurer la transparence, l'obligation d'assurer la sécurité, les responsabilités des opérateurs commerciaux et la base du soutien à la vérification de la sécurité et de la fiabilité de l'IA et à l'évaluation de l'impact de l'intelligence artificielle de manière autonome par le secteur privé.
Le représentant Yoo a diagnostiqué que la Corée est quelque peu en retard dans le domaine de la sécurité de l'IA et a déclaré : « Les États-Unis ont une industrie de sécurité de l'IA bien établie et des lois et systèmes connexes en place. D’un autre côté, la Corée commence tout juste à manifester son intérêt. "Avec l'adoption récente de l'AI Basic Act, le secteur de la sécurité de l'IA devrait se développer", a-t-il expliqué.
■ Rêver d'une ère d'IA sûre
Aim Intelligence prévoit d'étendre prochainement les services qu'elle propose actuellement sur une base de conseil au SaaS par abonnement. En outre, nous préparons des solutions de sécurité personnalisées pour des domaines particuliers tels que la finance et la médecine, et cherchons également à pénétrer le marché américain.
À long terme, nous prévoyons d’aller au-delà de l’IA générative pour inclure la sécurité physique de l’IA, comme les robots et les voitures autonomes. Le PDG Yoo a souligné : « La sécurité deviendra plus importante lorsque l’IA sous une forme physique, comme les robots ou les voitures autonomes, émergera », et a ajouté : « Notre objectif est de devenir une entreprise essentielle à ce moment-là. » À cette fin, nous recrutons activement des talents dans divers domaines, notamment des chercheurs en sûreté et sécurité en IA et des experts en réglementation.
You must be logged in to post a comment.