リコー　モデルマージによりGPT-4と同等の高性能な日本語LLMを開発

リコー　2024年9月30日発表

　リコーは、米Meta Platforms社が提供する「Meta-Llama-3-70B」の日本語性能を向上させた「Llama-3-Swallow-70B」をベースモデルに、同社のInstructモデルからベクトル抽出したChat Vectorとリコー製のChat Vectorをリコー独自のノウハウでマージ(併合)することで、高性能な日本語大規模言語モデル（LLM）を新たに開発した。
　これにより、リコーが開発・提供するLLMのラインナップに、米OpenAIが開発したGPT-4と同等レベルの高性能モデルが追加された。

　生成AIの広がりにより、企業が業務で活用できる高性能なLLMのニーズが高まっている。しかし、LLMの追加学習は、コストが高く、時間もかかるという課題がある。その課題に対して、複数のモデルを組み合わせて、より高性能なモデルをつくる「モデルマージ」は効率的な開発手法として注目されている。
　リコーは、モデルマージのノウハウと、LLM開発の知見に基づき、今回、新たなLLMを開発した。本技術は、企業独自のプライベートLLMや特定業務向けの高性能なLLMの開発の効率化につながるものである。
　リコーは、自社製LLMの開発だけではなく、顧客の用途や環境に合わせて、最適なLLMを低コスト・短納期で提供するために、多様で効率的な手法・技術の研究開発を推進していく。