
AI半导体初创公司HyperExcel正通过Upstage联盟加入政府的独立AI基金会模式合作生态系统。
HyperExcel 专门设计和开发用于语言模型推理的 AI 半导体,并针对生成式 AI 的实际应用环境进行了优化。为了解决超大型语言模型服务阶段出现的计算瓶颈、功耗和运营成本问题,HyperExcel 基于其专有架构开发了 LPU(语言模型处理单元)。
通过参与该联盟,HyperExcel计划合作增强和简化推理基础设施,以促进专有AI模型的广泛应用。基于专为LLM推理设计的LPU设计和性能改进,以及针对生成式AI应用环境优化的推理加速技术的研究与开发,HyperExcel将推进高效、低成本的AI服务基础设施的建设。
此外,该公司将主要开发并交付基于 vLLM 和 PyTorch 的高可用性 (HA) 全栈软件栈。这将建立一个能够同时确保推理性能和稳定性的基础设施。
HyperExcel 计划通过构建一个超越简单半导体供应的、集成硬件和服务软件的架构,全面提高商业化超大型模型所需的处理效率、功耗性能比和运行稳定性。
这被解释为在实际数据中心和工业服务环境中,以经济且可扩展的方式支持读者 AI 基础模型的运行。
HyperExcel 首席执行官金柱英表示,超大规模人工智能领域的竞争不仅取决于模型的大小,还取决于其维护效率。他将通过基于 LPU 的推理加速技术,为确保国内人工智能基础设施的技术独立性和全球水平的成本竞争力做出贡献。
- 查看更多相关文章
You must be logged in to post a comment.