RAN向けコンテナ基盤（O-Cloud）の大規模展開の実現

01.まえがき

半導体技術および仮想化技術の進化により，テレコム向けの要件の厳しい通信ソフトウェア（SW）を汎用ハードウェア（HW）上の仮想化レイヤで動作させることが可能になった．これにより，従来のHW/SW一体型の装置の場合に比較して，低コスト化による通信設備構築が可能となり，新規機能追加もSWアップデートのみで可能となり，迅速化を図ることができる[1]．ドコモでは，2015年度から商用ネットワーク（NW）におけるコアNW*1装置へ仮想化技術の適用を開始し，2025年度時点でコアNW装置の仮想化適用率は100％を達成している．一方，無線アクセスネットワーク（RAN：Radio Access Network）*2の領域においては，2015年当時は，無線レイヤ*3のベースバンド*4処理などのリアルタイム性が求められる高い処理性能要件を満たすことが難しかったが，近年のIT仮想化技術，汎用HW，HWアクセラレータ*5の進歩により，これらの領域にも仮想化技術適用が可能となった．このため，国内や海外のオペレータ*6では，RANの領域に対する仮想化技術であるvRAN（virtualized RAN）に取り組み，導入を進めている．
ドコモでは，オープンRAN（O-RAN：Open RAN）*7とETSI（European Telecommunications Standards Institute）*8 NFV（Network Functions Virtualization）*9に準拠した，vRANを収容する分散型コンテナ仮想化基盤（O-Cloud）を開発し，2025年よりvRANの商用導入を開始している．コアNW装置への仮想化技術適用と異なり，vRANの導入にあたっては処理性能の観点でアンテナサイトに近接したEdgeサイトに機能配備する必要があるため，数千の分散した拠点に仮想化基盤を迅速かつ簡易に展開および運用することが，新たに課題となっている．今回のO-Cloudの開発では，クラウドネイティブ*10や仮想化技術を活用した構築，および運用の自動化を促進するワークフローの設計・実装を行うことにより，それを可能とするプラットフォームを実現した．本稿では，O-Cloudの開発に際し具体的にどのようなアプローチを取ることで，この技術課題の解決を実現したかについて解説する．

02.vRAN

2.1 NW仮想化技術

NW仮想化技術とは，汎用HW上に仮想化レイヤを導入し通信SWを仮想資源上で動作させることにより，高信頼性や高性能などのキャリアグレードの要件を満たすため最適化された専用のHWと専用のSWを用いて提供してきた通信サービスを汎用HW上で実現させるための技術，およびオーケストレーション技術*11を組み合わせたものである．NW仮想化技術適用により，HWとSWの分離が可能になり，安価な汎用HWを用いることによるコスト低減やベンダロックイン*12の回避，最先端のHWの早期導入，SWのアップデートのみによる新規機能の提供が可能となる．さらにオープンソースの適用や効率的な開発手法などにより，サービス開始までのリードタイム*13の短縮などのメリットも享受できる．

2.2 ドコモのコアNWに対する仮想化技術適用状況

ドコモでは，2010年代前半よりNW仮想化技術の研究開発と，ETSI NFVを中心とした標準化を進め，2015年度から商用NWのコアNWに対して仮想化技術の適用を開始した．2021年度に導入された5GのコアNWも仮想化されており，2023年6月には全国7地域23拠点に仮想化設備が設置され，約1万台以上の COTS（Commercial Off-The-Shelf）サーバ*14群と数千台のNW機器群，25万以上の仮想マシン（VM ：Virtual Machine）*15群で仮想化設備を構成・保守している．2025年度内に商用NWのすべてのコアNWの仮想化が完了予定である．

2.3 グローバルでのテレコムにおけるvRAN導入背景

RANの仮想化においては，無線レイヤのベースバンド処理などの無線信号処理やデータ暗号化で行われる高次の計算が可能なHWが必要とされており，従来，この要件を満たすHW装置を安価かつ容易に導入できないことがボトルネックとなっていた．しかしながら，昨今の汎用HWの性能向上や，高次の計算に特化したHWアクセラレータの登場により，RANの領域へ仮想化を適用することが可能になってきた．この背景から国内や海外のオペレータはvRANの取組み，導入を進めている．

2.4 O-Cloudの大規模デプロイにおける技術課題

O-Cloudを構築し，大規模に展開するためには，以下の(1)～(3)の課題がある．
（1）O-Cloudコンポーネント*16設計
ドコモのコアNWの仮想化装置は，全国7地域23拠点のオンプレミス*17環境で構築されている．一方，vRANでは全国数千の分散した拠点に大規模展開していくことから，従来のコアNWのアーキテクチャを踏襲すると設備コストが増大するため，それを考慮した上でO-Cloudのアーキテクチャを適切に設計する必要がある．具体的には，仮想資源を管理し，HW監視機能部を集約するためのコンポーネント配置や，分散拠点での仮想化基盤展開に必要な所要時間・工数を最小化するためのワークフローを考慮し，スケーラブルであり，かつvRANの重要なメリットの1つであるコスト低減効果を最大限享受できる設計が求められる．つまり，コアNWの仮想化基盤における仮想資源の管理制御機能部やHWの物理レイヤ*18の監視制御機能部をパブリッククラウド*19上に実装するなど，仮想化基盤のどの機能部をパブリッククラウド／オンプレミス環境に配置すると効率的に基盤展開できるか，十分な検討をする必要がある．
（2）自動化と遠隔保守の促進による構築・保守作業の効率化
vRANでは，オンプレミス設置環境がCentralサイト（東京・大阪），Regionalサイト（各都道府県），Edgeサイト（アンテナサイトに近接した全国数千の分散拠点）の大きく3つに分類される．具体的には，CentralサイトおよびRegionalサイトは，データセンタ相当の設置環境を備えるドコモビルが該当し，Edgeサイトは，全国各地のNTT局舎やアンテナサイト，民間ビルなどに近接する収容函が該当する．3つのサイトの中では，特にコアNWの仮想化基盤が大きく異なるEdgeサイトの設置環境を考慮することが必要となる．加えて，Edgeサイトはドコモビルと比較して設置環境に起因する制約条件が多く，限られた設置スペースや空調などの環境条件に対応した機器・物理配備構成を検討することはもちろんであるが，特に構築時の工事や構築後の保守運用について，遠隔実施や自動化によるZero Touch化が重要である．Edgeサイトの中には物理的なアクセスが容易ではない拠点も含まれるため，構築時の工事や構築後の保守運用作業を最小化し，迅速かつ簡易にする仕組みが求められる．
（3）NW・セキュリティ設計
名前解決*20やCA（Certificate Authority）*21構成など，O-CloudにおけるNWおよびセキュリティに関して，さまざまな設置形態へフレキシブルに対応できるように，各基盤コンポーネント間のNW設計や疎通・暗号方式を設計する必要がある．
ドコモでは，これまでのコアNW仮想化の開発・運用の知見を踏まえ，進歩した技術と世界の新技術を取り入れつつ，上記の課題解決とともにvRANの実現をめざしている．

03.O-Cloud

従来のコアNWの仮想化基盤は，VM方式で構築されており，5Gコアではコンテナ on VM方式*22が採用されている（図1）．一方，O-Cloudではベアメタルコンテナ方式*23を採用している．従来のVM方式と比較して軽量なコンテナ方式を採用することにより，数千の分散した拠点に迅速かつ簡易に展開することが可能となる．
CU（Central Unit）*24・DU（Distributed Unit）*25機能を仮想化したvRANアプリケーション（vCU（virtualized CU）・vDU）をコンテナ化し，それらをO-Cloud上にデプロイ*26することで，基地局の仮想化を実現する．

3.1 O-Cloudの全体像

O-Cloudは，コンテナ化されたvRANアプリケーション向けに物理リソースを提供し，アプリケーションの起動，停止，復旧などの制御機能，HWの障害・輻輳*27の監視・通知機能，コンテナの動作・処理に必要なコンテナ監視・NW機能，およびコンテナのイメージ作成・構築に必要な資材格納機能を具備する．また，全国への大規模展開のため，事前にシナリオを設定し構築を自動化することにより省力化を実現している．

3.2 コンポーネント

(1)コンポーネントの役割
数千の分散した拠点に展開していくため，O-Cloudの基盤構築作業はCCM（CIS Cluster Management）*28により自動化されている．事前に作成されたシナリオに応じてBIOS・OS・ファームウェア（FW）などを物理サーバに自動設定し，そのHW上にDMS（Deployment Management Services）*29・LFS（Large File Server）*30・CIR（Container Image Repository）*31・CIS（Container Infrastructure Service）*32・PaaS（Platform as a Service）*33など，各コンポーネントを構築し，コンテナ向け仮想化基盤を形成する（図2）．
コンテナ化されたvRANアプリケーション（コンテナイメージ）はCIRに格納され，その他構築資材はLFSに格納される．vRANアプリケーションは，SMO（Service Management and Orchestration）*34からの指示に基づき，DMSによりvCU/vDUとしてCIS上にデプロイされる．デプロイされたアプリケーションの起動・停止も同じくSMOからの指示に基づき，DMSがCISを制御する．
運用においては，物理サーバの障害・輻輳の監視・通知はPIM（Physical Infrastructure Manager）*35が実施し，コンテナの動作・処理に必要なNW機能，時刻同期，名前解決，監視機能などはPaaSが提供する．
オンプレミス環境の物理リソースは，主にCOTSサーバで構成されている．ただし，vDUが動作するCOTSサーバは，専用に設計されたHWアクセラレータが搭載されており，高負荷な無線区間の物理レイヤを処理している．また，CIR/LFSの実データ格納先，vCU/O-Cloudログの保管先として，冗長構成の大容量ストレージが設置されている．
(2)O-Cloudのサイト構成
コンポーネントは，パブリッククラウド／オンプレミス環境に配置される（図3）．パブリッククラウドには，監視・自動化機能を集約しPaaS，IMS（Infrastructure Management Services）*36が配置される．オンプレミスは，商用呼のトラフィック処理，構築用資材の保管，パブリッククラウドがダウンした際の監視（予備系）を行い，規模に応じてCentralサイト・Regionalサイト・Edgeサイトに区分される．Centralサイトは，全国東西2拠点に設置され，構築用資材の保管・パブリッククラウドがダウンした際の監視（予備系）を行う．コンポーネントとしては，PaaS，LFSが配置される．Regionalサイトは47都道府県単位に設置され，CUの呼処理を行う．コンポーネントとしては，CIR，DMS（vCU/vDU）， CIS（vCU）が配置される．Edgeサイトは，5Gの低遅延通信を実現するため全国数千の拠点に分散設置され，DUの呼処理を行う．コンポーネントとしては，CIS（vDU）が配置される．
オンプレミス設備においては，Central・Regionalサイトへの機能集約，低廉なCOTSサーバの採用，自動化による省力化でコストを最適化し，かつCIS（vDU）の分散設置により低遅延なNWを構築している．一方で，クラウドでは既存のOSS（Open Source Software）*37資産を活用して構築し，開発を効率化・高速化している．低コストのオンプレミス設備と急速に進化するクラウド技術とが連携したハイブリッド構成を採用することで，最適なソリューションを実現した．

04.自動化によるシンプルかつインテリジェントな構築

4.1 構築の流れ

基地局構築の流れを図4に示す．図4のとおり，O-Cloudの構築後にRANアプリケーション構築を行うことで，基地局機能の提供が開始される．ここでは，O-Cloudの構築に焦点を当てて解説する．
図4に示すとおり，O-Cloudの構築は①ラックやサーバ，NW機器の物理工事，②各種インベントリ*38への登録と③クラスタ*39の構築の3段階で行われる．①物理工事においては，サプライヤ*40においてあらかじめキッティング*41したサーバを利用することにより，現地作業をラッキングや配線のみとし，SWの設定をパブリッククラウド上からの投入としている．②サーバの物理配置後は，パブリッククラウド上のIMSに存在する作業者向けのインタフェースから，構築に必要な情報をインベントリに登録し，③その後オンプレミス上のCentralサイト，Regionalサイト，Edgeサイトに対するO-Cloud（クラスタ）構築の作業シナリオをトリガする．以下では，インベントリの種類および登録内容，クラスタ構築作業の流れを解説する．

4.2 インベントリの種類

O-Cloudにおけるインベントリは，サイトインベントリ，サーバインベントリ，クラスタインベントリの3種類である．
サイトインベントリは，サーバを設置する拠点に紐づくインベントリであり，拠点の住所，Gateway*42のIPアドレス*43，利用可能なクラスタのタイプなど，拠点ごとの固有情報が登録される．
サーバインベントリは，物理サーバ1台1台に紐づくインベントリであり，IPアドレスや管理画面への認証情報など，サーバの固有情報が登録される．また，各サーバはいずれかのサイトに紐づいている．
クラスタインベントリは，NF（Network Function）*44が動作するKubernetes*45クラスタに紐づくインベントリであり，紐づけるサイトおよびPaaS用クラスタ，vCU用クラスタ，vDU用クラスタなどのクラスタ種別ごとに共通的な設定値（CCD：CIS Cluster Descriptor）が登録される．ここで登録されたCCDの活用により，大規模展開時においても，簡易に設定の投入が可能となるとともに，運用工程における設定管理も簡易化している．

4.3 インベントリへの登録

前述のとおり，vRANでは数千の分散拠点（サイト）を構築する必要があり，サーバ単位ではさらに多くのレコード*46を登録する必要があるため，その効率化が求められる．そこで，O-Cloudにおけるインベントリへの登録は，UI（User Interface）から1レコードずつ登録するほかに，レコードのエクスポート・インポートに対応している．これによりレコードが他のインベントリに流用可能となり，かつ多数のレコ―ドを一括登録できるため，効率的な登録作業を可能としている．

4.4 クラスタの構築

O-Cloudにおけるクラスタ構築はシナリオ化されており，必要な設定値を登録し，シナリオをトリガすれば，作業は自動で実行される．
各種インベントリへの登録完了時点で，各サイト・サーバには必要な情報が登録されているとともに，クラスタにはCCDが登録されている．従って，クラスタの構築時に必要な設定は，C-Plane（Control Plane）*47の冗長数や，物理リソースの論理的なグルーピングなど，クラスタ個別の設定値のみである．

4.5 保守作業

O-Cloudでは，各種保守作業をサイト／サーバ／クラスタ単位で効率的に実行できる．実施できる保守作業は，ヘルスチェック*48，再起動，FW更新，BIOS設定更新などである．これにより，例えばサイト単位でのFW更新，サーバ単位での再起動，クラスタ単位でのヘルスチェックなど，保守のユースケースに応じて効率的に使い分けることが可能である．

このように，O-Cloudではパブリッククラウド上のIMSのインベントリおよび，構築・保守作業のシナリオ化により，構築・保守運用の大規模展開が可能となっている．

05.あとがき

ドコモでは，vRANを収容するO-Cloudを開発し，2025年からvRANの商用導入を開始した．コアNW仮想化と異なりvRANの導入においては，数千の分散拠点に仮想化基盤を迅速かつ簡易に大規模展開することが新たな課題であった．ドコモのO-Cloud開発では，クラウド技術を活用したアーキテクチャ設計や，構築および運用作業のシナリオ化による自動化機能の実装により，これらの課題解決を実現し，vRANの本格的な商用導入を可能にした．今後は，コンテナ仮想化基盤の展開領域および自動化適用領域の拡大・高度化の実現に取り組んでいく．

文献