テレフィックス、航空宇宙ドメイン検索モデルでAI性能評価書世界2位

–グローバル検索ベンチマークRTEBでパラメータ10億個以下モデル世界2位記録
–多言語航空宇宙ドメイン特化検索ベンチマーク「ステラ」自体構築

宇宙AI総合ソリューション企業テレフィックス（TelePIX、代表チョ・ソンイク）は、航空宇宙専門技術文書を正確に検索する自社AI（人工知能）モデル「ピクシー1.0（PIXIE-v1.0）」がグローバル性能評価で上位圏に上がったと3日明らかにした。

ピクシー1.0は、航空宇宙・衛星・防衛など高度な専門技術文書を対象に意味ベース検索ができるように設計された航空宇宙ドメイン特化情報検索モデルである。衛星設計文書、技術規格書、運用マニュアルなど膨大な航空宇宙技術文書を自然言語の質疑でより簡単に検索できるように設計された。衛星用エージェントAIソリューションSatCHATの性能高度化のために開発され、先に公開したピクシープレビュー(PIXIE-Preview)に続き、今回の1.0ではドメイン特化検索性能を定量的に検証することに重点を置いた。

このモデルは最近、ハギングフェイス（Hugging Face）プラットフォームを通じて公開されたグローバル検索ベンチマークRTEB（Retrieval Embedding Benchmark、検索埋め込み性能評価指標）のパラメータ10億（1B）個以下のモデル部門で世界2位を記録した。該当部門にはグローバルビッグテックと研究機関が公開した多数の埋め込みモデルが含まれている。

RTEBは既存の埋め込みモデル評価基準として活用されてきたMTEB（Massive Text Embedding Benchmark、大量テキスト埋め込みベンチマークリーダーボード）を拡張した次世代検索ベンチマークで、テストデータ中心のスコア競争ではなく、実際の産業環境でのAIモデル情報検索性能の評価に焦点を当てた。法律・金融・医療・コードなど高難度ドメインを基にモデルの実質的な産業活用可能性を検証できる。

該当部門の1位モデルを含め、大部分は法律・金融・医療・コードなど様々なドメインを包括する汎用モデルである一方、テレフィックスのピクシー1.0は航空宇宙ドメインと韓・英技術文書に集中したにもかかわらずグローバル上位圏成果を出した。

同社側は、今回の結果がモデル規模の拡張ではなく、ドメイン特化データの精製と学習品質の改善だけでも高い検索性能を達成できることを示した事例だと評価した。特に専門用語と略語が複雑に絡み合った航空宇宙文書環境でも意味ベース検索が安定的に動作して産業現場適用可能性を確認したという説明だ。

また、テレフィックスは、RTEBで直接扱わない韓国語を含む多言語航空宇宙ドメイン検索性能を検証するため、自社構築した検索ベンチマーク「STELLA」を活用した追加評価を行った。その結果、ピクシー1.0はパラメータ規模に比べて優れた検索精度を示し、言語・ドメイン特化検索能力を安定的に確保したことが確認された。ステラは航空宇宙専門文書に基づいて構成された多言語情報検索ベンチマークで、航空宇宙ドメインに特化した公開検索評価基準がほとんどない現実的な限界を補完するように設計された。

テレフィックスはピクシー1.0をオープンソースで公開し、RAG(Retrieval-Augmented Generation)ベースのAIシステムで専門技術文書検索のためのコアモデルとして活用できると期待している。

テレフィックス・クォンダロン新データサイエンス部門長は「今回公開したピクシー1.0はプレビュー段階で提示した方向性を維持するが、航空宇宙ドメイン検索性能をより安定的に高度化することに集中して性能評価で優れた成績を出した。ピクシーとステラが今後のドメイン特化情報検索研究と実際宇宙ドメインに特化したAIハードウェア・ソフトウェア統合ソリューション企業で、実際の衛星産業で有用に活用可能なAIモデルとソリューションの高度化に集中する計画だ」と述べた。