NEC　世界トップレベル性能の高速な大規模言語モデル(LLM) 「cotomi Pro」「cotomi Light」を開発

日本電気　2024年4月24日発表

　NECは、LLM(Large Language Model＝大規模言語モデル)「cotomi」のラインアップ拡充のため、学習データやアーキテクチャを刷新した「cotomi Pro」「cotomi Light」を開発したと、4月24日に発表した。

　昨今の生成AIの急速な発展に伴い、様々な企業や公共機関が、LLMを活用した業務変革の検討・検証を進めている。具体的な活用シーンが見えてくる中で、導入・運用に際してレスポンスタイム、業務データ連携や情報漏洩・脆弱性等のセキュリティ面など、顧客ニーズにあったモデル・形態での提供が求められている。

　NECは、高速性と高性能の両立が顧客の課題解決に必須と考え、LLMのラインアップを拡充した。今回開発した「cotomi Pro」「cotomi Light」は、グローバルのLLMと同等の高い性能を、十数倍の速度で実現する高速・高性能なモデルである。一般的に、LLMの性能を高めるためにはモデルを大規模にする必要があるため動作速度が遅くなるが、NECは学習方式やアーキテクチャの工夫をすることで、速度と性能の両立に成功した。また、NECグループは約4万人の社員が生成AIの社内サービスを約1年社内業務に活用している。これら社内サービスから得られた膨大な対話履歴の解析・活用によって、現実的なユースケースでの性能も大幅に向上している。

　「cotomi Pro」は、GPT-4やClaude 2などグローバルトップレベルのモデルに比肩する性能を、GPU2枚の現実的なインフラでGPT-4のおよそ1/8のレスポンスタイムで実現する。また、さらに高速な「cotomi Light」は、GPT-3.5-Turboなどグローバルモデルと同等水準の性能を持ちながら、GPU1〜2枚程度の現実的なインフラで大量のリクエストを高速に処理することができ、多くの業務で充分な性能を発揮する。具体的には、RAGと呼ばれる仕組みによる社内文書検索システムにおいて、ファインチューニングをしていない状態でGPT-3.5以上の正答率、ファイチューニング後はGPT-4を超える正答率を、およそ1/15のレスポンスタイムで実現する。