-Coûts d'apprentissage réduits de 1/12 grâce à la méthode unique de pré-apprentissage « From-Scratch » et au « X-Language Cross-Learning System (XLDA) », mettant en œuvre la structure la plus idéale entre coût et performance
– A démontré des performances comparables aux modèles mondiaux dans des tests de raisonnement de haute difficulté tels que les mathématiques et le codage, et a démontré des capacités exceptionnelles, en particulier dans le domaine de la compréhension de la langue coréenne.
– Nous développerons des modèles linguistiques à grande échelle en utilisant notre propre technologie, étendrons l'application de l'IA dans tous les secteurs avec un portefeuille LLM complet et assurerons le leadership technologique.
Trillion Labs (PDG Jae-min Shin) a publié en open source le modèle de langage à grande échelle (LLM) de nouvelle génération « Tri-21B », conçu pour aller au-delà de la simple génération de texte et réaliser simultanément une compréhension du langage à haute dimension et une résolution de problèmes complexes.
Tri-21B est un modèle de langage à grande échelle conçu pour dépasser la simple génération de texte et assurer simultanément la compréhension d'un langage de grande dimension et la résolution de problèmes complexes. Comparé à son prédécesseur, Trillion-7B, il a considérablement amélioré ses performances en multipliant par plus de trois le nombre de paramètres, pour atteindre environ 21 milliards. Il est également suffisamment léger et performant pour fonctionner de manière fluide sur un seul GPU.
Ce modèle, développé à l'aide du moteur LLM et d'une méthode complète et entièrement nouvelle utilisant la technologie unique de Trillion Labs, est conçu pour démontrer des performances exceptionnelles dans les tâches exigeant une inférence de haute précision. Il adopte la structure de la chaîne de pensée (CoT) qui génère des réponses structurées aux problèmes exigeant une réflexion étape par étape, tels que les mathématiques et le codage, et en particulier l'attention multilingue appliquée aux documents (XLDA), une technologie exclusive à Trillion Labs.
XLDA est une méthodologie d'apprentissage de données qui transfère efficacement les connaissances en anglais vers des langues à faibles ressources comme le coréen et le japonais. Cette innovation a permis de réduire considérablement les coûts d'apprentissage, les ramenant à 1/12 du niveau actuel. Cet atout est significatif, car il a posé les bases d'une augmentation spectaculaire de l'utilisation du LLM dans les secteurs où les données sont insuffisantes. De plus, XLDA permet une génération de phrases plus naturelle et plus précise, non seulement en coréen, mais aussi dans les langues d'Asie du Nord-Est, comme le japonais, dont les données sont limitées.
Trillion-21B a démontré des performances comparables à celles de modèles mondiaux représentatifs de taille moyenne tels que Qwen 3 d'Alibaba, Meta LLaMA 3 et Gemma 3 de Google dans des tests de raisonnement complexes tels que les connaissances générales (MMLU), la compréhension du coréen (KMMLU), les mathématiques (MATH) et le codage (MBPP Plus). Il a notamment démontré sa force dans la résolution de problèmes réels, enregistrant une précision de 77,93 (85 lorsque CoT est appliqué) en vérification des capacités de raisonnement (MMLU), 77,89 en mathématiques (MATH) et 75,4 dans le domaine du codage (MBPP Plus).
Il s'est également distingué dans les principaux tests coréens. Il a obtenu 86,62 points au Hae-Rae, qui mesure la compréhension de la culture coréenne, et 62 points (70 en appliquant le CoT) en connaissance de la langue coréenne et capacité de raisonnement (KMMLU), un score nettement supérieur au modèle mondial, démontrant une capacité inégalée de compréhension du coréen en termes de vocabulaire, de compréhension contextuelle et de prise en compte du contexte culturel. Il a également obtenu des résultats stables dans des domaines exigeant une grande fiabilité tels que la finance, la médecine et le droit, augmentant ainsi les possibilités d'application dans tous les secteurs.
Shin Jae-min, PDG de Trillion Labs, a déclaré : « Le Tri-21B transfère efficacement les performances d'un grand modèle 70B au 21B grâce à sa structure à volant d'inertie, et a mis en œuvre la structure la plus idéale à ce jour en termes d'équilibre entre taille, coût et performances du modèle. » Il a ajouté : « Avec ce modèle, nous allons rapidement améliorer la rentabilité et les performances grâce à des LLM hautes performances développés de A à Z par pré-apprentissage, améliorant ainsi le perfectionnement de la technologie d'IA coréenne. Avec le Tri-70B, qui sera commercialisé prochainement, nous compléterons notre portefeuille de LLM complets. »
Parallèlement, Trillion Labs, créée en août 2024, est la seule startup coréenne à avoir conçu de manière indépendante un LLM centré sur la Corée et à avoir mené une phase de pré-apprentissage (à partir de zéro). Son équipe est composée d'ingénieurs et de chercheurs en IA de haut niveau, originaires de Corée et de l'étranger, dont Jae-min Shin, pionnier de l'IA générative, et issus de KAIST, Oxford, Berkeley, Amazon et Naver. En septembre 2024, elle a levé 5,8 millions de dollars (environ 9 milliards de wons) d'investissements de pré-amorçage et, en mars 2025, elle a publié le modèle préliminaire Trillion-7B (Trillion-7B-preview) en open source.
Le PDG Shin Jae-min est un chercheur de premier plan dans le domaine des systèmes de dialogue empathique depuis 2017 et a joué un rôle clé dans le pré-apprentissage de Naver HyperClova X (modèle 7B~60B). La série d'articles « Prometheus », rédigée en tant qu'auteur principal, a remporté le prix du meilleur article 2025 de la North American Association for Computational Linguistics (NAACL). Il a également été récompensé pour ses réalisations dans le développement d'un LLM de style coréen et a présenté « Sovereign AI » en tant que conférencier invité à la NVIDIA GTC 2025, contribuant ainsi à renforcer le statut international de la Corée en tant qu'entreprise représentative de l'IA.
You must be logged in to post a comment.