防止人工智能创建的虚假信息和黑客攻击… Aim Intelligence的创新技术

-3万种漏洞模式保护AI安全

– 获得全球AI公司认可，渗透率高达94.4%

-随着AI基本法的通过，作为AI安防市场受益企业受到关注

-成立仅一年就被诊断为全球人工智能公司…关注“安全+道德”相结合的解决方案

去年 11 月，人工智能聊天机器人 Gemini 给出了一个不恰当的回复“请去死吧”，引发了争议。最近，通过反复提出转移性问题来引出与暴力或犯罪有关的答案的“多次越狱”方法也变得普遍。此外，人工智能制造虚假信息的“幻觉”现象频繁发生，利用人工智能的语音钓鱼和电子邮件欺诈也在迅速增加。

有一家初创公司已经加紧解决这些人工智能安全问题。 AIM Intelligence 是一家人工智能安全初创公司，拥有阻止人工智能用户恶意尝试的技术。 Aim Intelligence 可以有效阻止网络钓鱼电子邮件、虚假信息、深度伪造图像创建以及黑客和网络攻击尝试。

“随着人工智能技术的发展，安全的重要性也随之增加。我们的目标是帮助人工智能以合乎道德和安全的方式使用。”

Aim Intelligence 首席执行官 Sang-yoon Yoo 在首尔江南区 COEX 的 SKT 初创企业人工智能实验室会面，他解释了公司的愿景如下。 AIM Intelligence的名称“Aim”代表了AI和“瞄准”的双重含义。公司标志中的红点象征着准确的瞄准点，蕴含着公司精准发现并消除人工智能安全漏洞的意愿。

拥有首尔国立大学电气和信息工程硕士学位的首席执行官 Yoo 于 2024 年初与虚拟机优化实验室的一名大三学生创立了 Aim Intelligence，同时研究人工智能伦理。成立短短的时间内，就取得了荣获“Metarama影响力创新奖”、荣获科技部“AI红队挑战赛”、入选“第二届AI”等令人瞩目的成就。 SK Telecom 的“创业加速器”。基于这些成就，Aim Intelligence 吸引了 Mashup Ventures 的种子投资。 “AI创业加速器第二阶段”计划是SK Telecom（首席执行官Young-sang Yoo）与韩亚银行（首席执行官Seung-yeol Lee）共同准备的旨在培育AI初创公司的计划。选定的公司将获得免费办公空间、业务指导、专利、投资和公共关系等支持。

虽然成立不到一年，但Aim Intelligence的价值已经得到认可，国内各大电信公司都使用Aim Red诊断其AI服务，并参与全球AI公司Anthropic的Claude模型诊断项目。

■ 开发创新的“进攻”和“防御”解决方案

Aim Intelligence的代表产品是“AIM Red”和“AIM Guard”。 Aimred 是一种自动发现人工智能系统漏洞的诊断工具。此前，采用的是安全专家直接发现漏洞的“人类红队”方法，但 Aimred 通过自动化这一过程提高了效率。

Aimred 从黑客的角度以多种方式测试人工智能系统。例如，人工智能拒绝直接的黑客代码请求，但利用了假设某些情况下它可能容易受到间接请求的事实。

“我们已经系统化了已知的漏洞模式。通过为人工智能分配特定的角色和任务，将其与网络攻击代码或创建虚假信息等特定主题相结合，并开发模式来尝试攻击。我们不断通过社区和竞赛发现新模式。”

Aim Intelligence 通过创建各种攻击模式和主题，然后通过合成数据（合成数据生成）来增强它们，从而自动创建重新计时数据。 Aim Intelligence 目前拥有超过 30,000 个漏洞模式。特别是，除了仅询问和回答一个问题的“单轮”方法之外，他们还进行交换多个对话的“多轮”方法攻击。多轮方法的关键是让人工智能记住之前对话的上下文，并据此生成适当的响应。最近的人工智能模型可以阻止简单的攻击，但会在复杂的对话过程中揭示漏洞。

AimGuard 是一种可以防范这些漏洞的解决方案。如果说Aimred是一个发现漏洞的“攻击”工具，那么AimGuard可以说是一个防止这些漏洞的“防御”工具。

AimGuard的核心是它是一个在输入和输出阶段同时运行的双重防御系统。在输入阶段，提前拦截用户的恶意尝试，在输出阶段，审核人工智能的答案是否恰当，防止脏话、个人信息泄露和版权侵权。

两款产品均展现出优异的性能。 AimRed 的渗透率为 94.4%，高于微软的 PyRIT（33.3%）。这意味着在相同的时间内可以发现大约三倍的漏洞。 Aim Guard 实现了 99% 的保护率，超过了元的 Llama Guard，后者实现了 90% 的保护率。特别是，它的优点是可以诊断反映韩国语言和文化特征的漏洞。例如，它可以有效渗透和保护韩国社会特别敏感的话题，例如性别冲突或军事相关问题。

首席执行官 Yoo 表示：“传统的网络安全分析软件代码，但人工智能就像一个‘黑匣子’，需要通过各种输入值来发现问题。 “人工智能安全还与伦理问题密切相关。”他在解释人工智能安全的特殊性时说道。

■ AI基本法出台，AI安全的重要性日益凸显

随着2024年12月26日国会通过《人工智能基本法》（关于人工智能发展和建立信任基础等的基本法），人工智能安全的重要性预计将进一步提高。该法是继欧盟之后全球颁布的第二部全面的人工智能监管法，要求确保人工智能的透明度和安全性。该法案旨在建立国家人工智能治理体系，系统培育人工智能产业，防止因人工智能技术限制和滥用而可能出现的问题。该法律还包括确保透明度的义务、确保安全的义务、经营者的责任以及支持私营部门自主进行人工智能安全可靠性验证和人工智能影响评估的基础。

柳代表诊断韩国在人工智能安全领域有些落后，并表示：“美国拥有成熟的人工智能安全产业以及相关的法律和体系。另一方面，韩国才刚刚开始表现出兴趣。 “随着最近《人工智能基本法》的通过，人工智能安防产业有望发展，”他解释道。

■ 梦想安全的AI时代

Aim Intelligence 计划很快将其目前提供的咨询服务扩展到基于订阅的 SaaS。此外，我们正在为金融、医疗等特殊领域准备定制的安全解决方案，并正在寻求进入美国市场。

从长远来看，我们计划扩展到生成式人工智能之外，涵盖机器人和自动驾驶汽车等物理人工智能安全。 Yoo首席执行官强调，“当机器人或自动驾驶汽车等具有物理形式的人工智能出现时，安全将变得更加重要”，并补充道，“我们的目标是成为当时必不可少的公司。”为此，我们正在积极招募各个领域的人才，包括人工智能安全研究人员和监管专家。