Trillion Labs 开源基于预学习的法学硕士“Tri-21B”课程

-通过独有的“From-Scratch”预学习方式和“X语言交叉学习系统（XLDA）”，将学习成本降低1/12，实现成本与性能之间的最理想结构

– 在数学、编码等高难度推理基准上展现出可与全球模型相媲美的性能，尤其在韩语理解领域展现出卓越的能力。

– 我们将利用自己的技术开发大规模语言模型，通过完整的LLM项目组合拓展人工智能在各行业的应用，并确保技术领先地位。

Trillion Labs（首席执行官 Jae-min Shin）已开源下一代大规模语言模型（LLM）“Tri-21B”，该模型旨在超越简单的文本生成，同时执行高维语言理解和复杂问题解决。

Tri-21B 是一个大规模语言模型，旨在超越简单的文本生成能力，同时执行高维语言理解和复杂问题求解。与其前身 Trillion-7B 相比，该模型的参数数量增加了三倍以上，达到约 210 亿个，性能显著提升，并且轻量高效，足以在单个 GPU 上流畅运行。

该模型采用LLM引擎和Trillion Labs独有技术，完全从零开始开发，旨在在需要高精度推理的任务中展现强大的性能。它采用“思维链”（CoT）结构，能够针对数学和编程等需要循序渐进思考的问题生成结构化答案，尤其应用了Trillion Labs独有的跨语言文档注意力（XLDA）技术。

XLDA 是一种数据学习方法，能够有效地将英语知识迁移到韩语和日语等资源匮乏的语言，并实现了一项创新，将学习成本大幅降低至现有水平的十二分之一。这一创新意义非凡，因为它为大幅提升数据不足行业中法学硕士 (LLM) 的利用率奠定了基础。此外，XLDA 不仅能为韩语，还能为日语等数据有限的东北亚语言生成更自然、更准确的句子。

Trillion-21B 在常识类（MMLU）、韩语理解类（KMMLU）、数学类（MATH）、编码类（MBPP Plus）等推理类高难度基准测试中，展现出与阿里巴巴Qwen 3、Meta LLaMA 3、谷歌Gemma 3等全球代表性中型模型相当的性能。尤其是在实际问题解决能力方面，其准确率在推理能力验证类（MMLU）中达到77.93（应用CoT时为85），在数学类（MATH）中达到77.89，在编码类（MBPP Plus）中达到75.4，展现出强大的实力。

在韩国语主要基准测试中，该语言也表现出色。在衡量韩国文化理解能力的“Hae-Rae”测试中获得了86.62分，在韩国语知识与推理能力（KMMLU）测试中获得了62分（应用CoT则为70分），远高于全球标准，在词汇理解、语境理解、文化背景反映等方面展现出无与伦比的韩国语理解能力。此外，该语言在金融、医疗、法律等对可靠性要求较高的领域也取得了稳定的成绩，提升了其跨行业应用的可能性。

Trillion Labs 首席执行官 Shin Jae-min 表示：“Tri-21B 通过飞轮结构有效地将大型 70B 模型的性能转移到 21B，并在模型尺寸、成本和性能之间的平衡方面实现了迄今为止最理想的结构。” 他补充道：“凭借该模型，我们将通过预学习从头开始开发的高性能 LLM 迅速实现成本效益和性能提升，从而提高韩国 AI 技术的完善度。此外，与未来即将发布的 Tri-70B 一起，我们将完善全尺寸 LLM 产品组合。”

另一方面，成立于2024年8月的Trillion Labs是韩国唯一一家自主设计以韩语为核心的法学硕士（LLM）课程并进行预学习（从零开始）的初创企业。该团队由国内外顶尖的AI工程师和研究人员组成，其中包括生成AI领域的先驱者申载民，以及来自韩国科学技术院（KAIST）、牛津大学、伯克利大学、亚马逊和Naver等院校的研究人员。2024年9月，该公司获得了580万美元（约90亿韩元）的种子轮投资，并于2025年3月开源了预发布模型Trillion-7B（Trillion-7B-preview）。

申在民代表自2017年以来一直是共情对话系统领域的领军研究者，并担任Naver HyperClova X（7B~60B模型）预学习的核心研究员。作为主要作者撰写的“Prometheus”系列论文荣获北美计算语言学协会（NAACL）2025年度最佳论文奖。此外，他因开发韩国式法学硕士（LLM）而获得认可，并在“NVIDIA GTC 2025”上作为特邀讲师发表了“Sovereign AI”主题演讲，为巩固韩国作为代表性AI企业的国际地位做出了贡献。