La start-up HyperExcel, spécialisée dans les semi-conducteurs et l'IA, rejoint l'écosystème de coopération du modèle de fondation indépendante pour l'IA du gouvernement via le consortium Upstage.
HyperExcel conçoit et développe des semi-conducteurs pour l'IA, spécifiquement dédiés à l'inférence LLM et optimisés pour les environnements d'application réels de l'IA générative. Afin de pallier les limitations de calcul et les problèmes de consommation d'énergie et de coûts d'exploitation rencontrés lors de la phase de service des modèles de langage de très grande taille, HyperExcel a développé une unité de traitement LLM (LPU) basée sur son architecture propriétaire.
Grâce à sa participation à ce consortium, HyperExcel prévoit de collaborer à l'amélioration et à la rationalisation de l'infrastructure d'inférence afin de favoriser l'adoption généralisée de modèles d'IA propriétaires. S'appuyant sur des améliorations de conception et de performance des unités de traitement léger (LPU) spécialisées pour l'inférence LLM, ainsi que sur la recherche et le développement de technologies d'accélération de l'inférence optimisées pour les environnements d'application d'IA générative, HyperExcel poursuivra la mise en œuvre d'une infrastructure de services d'IA performante et économique.
De plus, l'entreprise développera et fournira principalement une pile logicielle complète à haute disponibilité (HA) basée sur vLLM et PyTorch. Ceci permettra de mettre en place une infrastructure garantissant simultanément les performances et la stabilité de l'inférence.
HyperExcel prévoit d'améliorer considérablement l'efficacité de traitement, le rapport puissance/performance et la stabilité opérationnelle nécessaires à la commercialisation de modèles ultra-larges en construisant une structure qui intègre le matériel et les logiciels de service au-delà de la simple fourniture de semi-conducteurs.
Ceci est présenté comme un moyen de soutenir le fonctionnement du modèle de base d'IA du lecteur de manière économique et évolutive dans des centres de données réels et des environnements de services industriels.
Kim Joo-young, PDG d'HyperExcel, a déclaré que la concurrence dans le domaine de l'IA à très grande échelle dépend non seulement de la taille du modèle, mais aussi de l'efficacité avec laquelle il peut être géré, et qu'il contribuerait à garantir l'indépendance technologique de l'infrastructure d'IA nationale et la compétitivité des coûts au niveau mondial grâce à une technologie d'accélération de l'inférence basée sur les LPU.
- Voir plus d'articles connexes
You must be logged in to post a comment.