ビジネスの現場に寄り添うLLM基盤技術

（1）機能構成および機能概要

LLM付加価値基盤は基本機能として，GUI，API（Application Programming Interface）^*6，ユーザ認証，ログ監視機能とセキュリティを備えている．特にGUIとログ監視は，エンドユーザが生成AIを直感的かつ安全に利用するために必須の機能であり，付加価値基盤の中核をなしている．

LLM付加価値基盤の機能およびシステム構成を図2に示す．LLM付加価値基盤のシステム構成は，①Webサーバ，②アプリケーションサーバ，③APIゲートウェイ^*7および④アクセス管理DBから構成され，社内外にホストされたさまざまな生成AIを利用することができる．

1. Webサーバでは，ユーザが複雑なコマンドを入力することなく，生成AIおよび後述する付加価値機能を簡易な操作で利用可能とするGUIを提供している．
2. アプリケーションサーバは，付加価値機能APIおよび，それらのAPIと生成AIを連携するコントローラからなるマイクロサービスアーキテクチャ^*8で構築される．
3. APIゲートウェイには，ユーザを管理する機能があり，APIキー^*9の発行と発行されたAPIキーによるユーザ認証が可能である．また，各APIは，APIゲートウェイを通じて，付加価値機能と生成AIを連携した形式で提供している．
4. アクセス管理DBでは，APIゲートウェイから送信されたユーザ認証情報のうち，所属情報の照合を行い，所属組織ごとの機能制限やアクセス管理を実現している．

これら一連のシステムの環境構築は，IaC（Infrastructure as Code）^*10で行われており，システムの更新を安全かつ迅速に対応できるよう工夫している．

（2）GUI

LLM付加価値基盤では，生成AIをチャット形式のインタフェースで利用できるGUIを提供している．さらに，ユーザの利便性向上のため，(a)対話履歴，(b)対話内容の引継ぎ機能および(c)テンプレート機能を実装している．LLM付加価値基盤のGUIを図3に示す．

（3）ログ監視およびセキュリティ確保

LLM付加価値基盤では，多数のユーザが入力制限無しに利用できるため，機密情報の入力を禁止する利用規約を設け，情報流出リスクを低減する運用監視体制を構築している．具体的には，生成AIの入出力を基盤上でログとして保存しており，そのログを定期的に監査している．また，監査時にお客さまの個人情報といった機密情報の入力が発見された場合，該当のログを基盤内から削除し，ユーザへ注意喚起を行っている．

ログの監査は，自動的に入力内容をチェックする個人情報検知器と目視による監視のハイブリッドで行っており，多量のログの監視作業を効率化し，機密情報の流出を迅速に感知できる体制を整えている．

（1）LLM連携

LLM付加価値基盤には，ユーザが用途に応じて最適なLLMモデルを選択して使い分けられる，LLM接続機能を実装している．一例として，議事録作成のような比較的文字数の多い文章の入力が想定されるユースケースでは，コンテクストサイズの大きなモデルを選ぶといったことが可能である．

このように，用途に合わせて選択できる複数のモデルの拡充を進めている．一例として，より軽量で業務に活用しやすいNTT研究所提供独自モデルtsuzumi[2]の提供も行っている．

また，多くの生成AIでは，大きなマシンリソースが必要となるため，リクエスト数や単位時間当りの入出力トークン^*13数に制限が設けられている．LLM付加価値基盤では，複数のモデルを選択できることでこれらの制限緩和を実現している．

（2）外部知識参照

SaaSやOSS（Open Source Software）^*14として提供されている生成AIは，一般知識のみを学習しているため，専門的な知識を回答できず，社内業務での利用が難しい．これに対しては，ファインチューニング^*15などで専門知識を獲得させるアプローチが考えられるが，そのために各利用組織で大量の学習データを用意し，計算資源を確保することは容易ではない．

LLM付加価値基盤では，この課題を解決するために，外部知識を入力に取り入れるための機能として，ファイル参照機能および文書検索機能を実装し，専門的な知識の回答を可能とした．

なお，外部知識参照の実装に関する技術的な取組みの詳細は後述する．

（3）倫理チェック機能

倫理チェック機能はLLMの出力に対し，倫理的に問題がないかのチェックを行う機能である．ユーザがLLMを利用するユースケースとして，メール作成や対外文書の推敲などが考えられる．しかしLLMは時に非倫理的な文章を生成する可能性があるため，LLMの出力をそのまま他者に見せることには一定のリスクが存在する．倫理チェック機能では，LLMの出力に対して，内容が非倫理的であるかどうかを判定し，非倫理的であると判断された場合にはユーザに警告を行い，ユーザがこの出力を他者に見せる文書に用いないよう注意喚起をする．

なお，倫理チェック機能の実装に関する技術的な取組みの詳細は後述する．

（1）社内情報連携ニーズとLLMの課題

企業においては，各組織のもつ社内規定類や顧客情報などの社内情報をLLMに参照させ，これらの情報に基づいて回答を生成させたいというビジネスニーズがある．企業のもつこれらの情報はWeb上には存在していない非公開情報で，LLMの事前学習データに含まれていないため，LLMはこれらの知識を必要とする質問に対しては，適切な回答を生成できない課題がある．

（2）付加価値基盤で提供している検索拡張生成（RAG：Retrieval-Augmented Generation）関連技術

社内データベースに保管されている社内情報をLLMに参照させることで，社内情報に関する質問にも回答を生成できるようにするRAG[3]という技術が注目を集めている．RAGでは，まず，ユーザが入力したプロンプトを基に，検索エンジンが社内データベースを検索する．次に，得られた情報をユーザが入力したプロンプトに追加する．最後に，そのプロンプトに基づいてLLMが回答文を生成し，ユーザに提示する．

LLM付加価値基盤では，RAGをベースとした機能をユースケース別に2種類，具体的には，前述したファイル参照機能と文書検索機能を提供している．いずれも，利用している技術はRAGであるが，LLMが回答生成時に参照するファイルのアップロードタイミングとそのファイルの格納者が異なる．ファイル参照機能は，ユーザがアップロードした，自身のPC上に保存されているファイルの中身を検索エンジンが検索・参照して回答生成する機能であり，図4に示すように，ファイルアップロードを，ユーザが質問を入力する際に行う．一方，文書検索機能は，図5に示すように，管理部門によって付加価値基盤上へ事前にアップロードされた大量のファイル群から，ファイルならびにその中身を検索エンジンが検索・参照して回答生成する機能である．また，文書検索機能には，ユーザのファイルアクセス権限に準拠したファイル参照を行えるように，アクセス制御機能も実装している．

（3）現状の課題と改善策

RAGは，理論上は，事前学習データに含まれていない社内情報などに関する質問に対しても回答を生成できる画期的な技術だが，実用上は，社内情報をLLMに参照させる機能がボトルネックとなり，適切な回答を生成できないことが多い．そこで，ドコモは社内情報をLLMに参照させる際の動作，特に図表の読取りとファイル検索の精度向上に取り組んでいる．

（1）倫理チェックの必要性

LLMはテキストをテンプレートなど無く自由に生成できるという特性から，時に不適切な内容の文章を出力する可能性がある．LLMが出力する文章の不適切性は2種類に大別され，①倫理的に不適切な文章を出力すること，②事実と異なる内容を出力すること（ハルシネーション）が挙げられる．特に①の観点では，過去LLMを活用して文書生成のサービスを提供した事業者が，そのLLMによって出力された不適切な内容に起因してSNS上で炎上した事例が複数存在する[4]．

非倫理的な内容は有害であり，社内外に向けて公表してしまうと，SNSで炎上したり，企業評価・信用の低下リスクに繋がったりするリスクがある．これらのリスクに備えるべく，LLM付加価値基盤では，不適切な出力のうち①の課題に対して，LLMの出力に倫理的問題がないかをチェックする倫理チェック機能を開発している．

（2）倫理チェック機能の概要

倫理チェック機能は，入力された文章が倫理的に問題をもつか否かを判定する文書分類器^*19を中心としたシステムである．倫理チェック機能では，文書分類器がLLMの生成したテキストを評価し，倫理的な側面を検証する．具体的には，文書分類器は，事前に定義された倫理カテゴリ体系に基づいて，テキストが特定の倫理的問題を含んでいないかの判定を行う．

倫理チェック機能で利用されるカテゴリ体系は，独自に定義された8つのカテゴリによって構成されている．分類器は，テキスト内容が各カテゴリそれぞれに該当するかどうかを判断する8つの2値分類^*20器からなり，これらが各カテゴリへの該当可能性を確率的に出力する．

倫理チェック機能を用いることで，テキストが特定のカテゴリに該当するかどうかを客観的に評価することができ，LLMが倫理的に不適切な文書を出力した場合には，ユーザに生成内容の倫理性に関するアラート喚起ができるようになる．

（3）カテゴリ体系と分類器

現在世界で提供されている倫理チェック機能のサービスとしてOpenAI Moderation APIやPerspective APIなどが挙げられるが，これらのサービスは米国英語の表現や文化的背景を前提としており，また柔軟性や多様性の点でドコモの倫理チェック機能とは差異が存在する．特に，カテゴリ体系を自由に書き換えることができないという点や，あくまでビジネス向けではないという課題が存在する．LLM付加価値基盤の倫理チェック機能は，カテゴリ体系と分類器を独自に構築することで，こういった課題に柔軟に対処できる強みをもつ．

倫理チェック機能のカテゴリ体系を表1に示す．倫理チェック機能のカテゴリ体系は，先行研究[5]や類似サービスのカテゴリ体系，社内での対外文書チェック基準を参考にして，卑語，差別表現，暴力表現，卑猥表現，違法表現，多様性の尊重，企業NGの7つのカテゴリで構成される．前者の6つのカテゴリでは基本的な不適切な表現の分類を行い，これらにより炎上リスクのある文章などが出力された場合に，これを事前に検出できるようになる．

企業NGカテゴリの詳細カテゴリを表2に示す．企業NGカテゴリでは，特に企業での業務活用時のリスク対策として，競合誘引，景品表示法・薬機法に関連する表現，飲酒・賭博などの違法ではないが取扱いの難しい表現についての分類チェックを行う．これにより世間一般の非倫理的という枠を超えて，企業特有の炎上リスクをもつような文章に対しても対応ができるようになっている．

倫理チェック機能では，こういったカテゴリ体系を独自にカスタマイズ・チューニングすることができ，ビジネス向き，日本語ユーザ向きといった企業活用ニーズに細かく対応できる利点がある．

また，倫理チェックを行う分類AIは動作速度と精度を重視し，LLMではなく，各カテゴリの2値分類データセットで微調整したBERT（Bidirectional Encoder Representations from Transformers）^*21モデルを利用している．特にBERTの事前学習モデル^*22にはNTT研究所作成のNTT BERT^*23を用いており，NTT BERTの高い日本語性能を活かした分類器での倫理チェック機能の開発を行っている．