ユーザの多様なニーズに対応するためのドコモトランスポート網高度化技術

（1）AR網のネットワークトポロジ

AR網では，基本的にAGRの下位にACRが複数接続されるスター型^*15トポロジで構成される．一方で，隣接のACRとACR間を直接接続するトポロジも考えられ，これによりAGRを収容するビルをまたぐ長距離伝送路の構築を回避し，伝送路のコスト削減や新規ACRの追加時に柔軟かつ容易にネットワークトポロジを拡張することができる．

また，ACRとAGRの接続に際しては物理回線を冗長化させることで，ネットワークの耐障害性を高めている．さらにAGRは各エリア内の通信を集約しており障害時の通信影響が大きいため，装置を冗長化することで片方の装置が故障した場合でも，通信を継続することができる[1]．

（2）BR網のネットワークトポロジ

従来はIPルータ網^*16と呼ばれるトランスポート網を使用していたが，後継として新たにBR網を新設した．IPルータ網では，図2で示すように東日本と西日本を拠点とする2スター型トポロジのネットワーク構成を採用していた．ドコモでは，IPルータ網を2004年から運用してきているが，ユーザ需要の増加によるNEの新設や増設によって，アクセス層の機器種別が増え，ネットワークトポロジが複雑化してきていた．

BR網では，新たにトポロジを見直し，コア層を複数の地域ブロックに分けてCR2を配置するパーシャルメッシュ型^*17トポロジを採用している．

耐障害性については，IPルータ網ではコア層のNEに障害が発生すると配下のエッジ層のNEも影響を受ける構成となっていたが，パーシャルメッシュ型トポロジの採用により，BR網ではコア層の障害の影響を分散することが可能となった．これにより激甚災害などへの耐障害性を高めている．また，BR網の各層はA/B面の2面の構成となっており，片面における障害発生やメンテナンスの場合でも逆面で通信は継続される．

BR網ではコア層の内部，およびコア層とエッジ層の間の接続はすべて100Gbpsの回線で構成している．また，1Gbpsや10Gbpsのユーザについてはエッジ層のSAS2を用いて収容することで，IPルータ網で存在していたアクセス層を廃止している．これによりネットワークの層数を減らし，複数のNEを経由することで発生していたNE間の通信遅延を低減した．

また，IPルータ網ではエリア間の通信は必ずコア層に配置された2スターのCRを経由して行われていたが，BR網では同一の地域ブロックに収容されているエリア間であれば，直接通信を行うことができる．これによりIPルータ網で発生していた通信遅延を低減している．

コア層は，100Gbpsの物理回線を束ねて論理的な大容量回線の構成を可能としている．また，将来のさらなるトラフィック増に備えて，400Gbpsの物理回線の適用も可能とした構成となっている．

3.2 SR-TE，トランスポート・スライシング技術の導入

ネットワーク・スライシングとは，同一の物理ネットワークを仮想ネットワーク^*18の要件ごとに「スライス」として分割する技術である．携帯端末からコアノードまでネットワーク・スライシングを実現するためには，トランスポート網内でも対応した制御が必要であり，本稿ではそれを可能とする技術をトランスポート・スライシングと呼ぶことにする．

（1）SR-TE

（a）概要

現在，トランスポート・スライシングを実現するためのさまざまな方法が議論されているが，その中でドコモではSR-TEを用いた方法を採用している．SR-TEを用いると動的で柔軟な経路選択が可能となる．これまでは，IGP（Interior Gateway Protocol）^*19のメトリック^*20（パスコスト^*21など）による経路選択が行われてきたが，SR-TEでは，経路選択の要素としてIGPのメトリック以外にも下記のようなオプションが使用できる．なお，メーカによってオプションの実装状況は異なる．

• 伝送遅延値
• 保証帯域値
• リンク利用率

これらのオプションを用いて，例えば低遅延サービスに対応した通信経路など，ユーザの要望に合わせた経路を作成することができる．

（b）経路作成

SR-TEを用いた経路作成では，一般的にPathと呼ばれる経路の組合せを使用する．PathにはExplicit PathとDynamic Pathの2種類が存在する．

• Explicit Pathでは，あらかじめユーザが経路の一部またはすべてをSID（Segment IDentifier）^*22 Listと呼ばれるリストに明示的に指定し，NEはその経路を用いて通信を行う．
• Dynamic Pathでは，入口と出口のルータを指定することで，PCE（Path Computation Element）^*23が取得した情報を用いてSID Listを自動的に生成し，NEはその経路を用いて通信を行う．

また，TE affinity^*24などの技術を用いることでリンクに属性をもたせ，特定の経路を通らないPathを生成するなど，柔軟な経路設定が可能となる[2]．

なお，ドコモトランスポート網ではDynamic Pathの方式を採用しており，TE affinityは現状使用していない．

（2）低遅延経路の実現方法

ドコモトランスポート網では各NEで収集したリンクの伝送遅延値に基づき，最低遅延経路での通信を実現している（図3）．

具体的には，Point-to-Pointで接続されるNE間の伝送路長などに基づく伝送遅延値を，TWAMP Light（a Two-Way Active Measurement Protocol Light）^*25 [3]に基づくPerformance Measurement機能^*26を使用することで測定している．

その後測定された各NE間の伝送遅延値を，正規化により数百マイクロ秒オーダの粒度で整形し，BGP-LS（Border Gateway Protocol-Link State）^*27[4]によって任意のNEが代表して後述のSDNコントローラへ転送する（図3①）．SDNコントローラは，自身のPCE機能により計算した最低遅延経路をSR-policy^*28として転送し（図3②），通信の始点となるNEがそれを受け取ることで，従来のOSPF（Open Shortest Path First）^*29に基づく通信経路に加えて，SR-TEによる伝送遅延値に基づく通信経路を選択することが可能となる（図3③）．

（3）トランスポート・スライシングの実現方法

（a）VPNのLSPへの紐づけ

トランスポート・スライシングは図4のように，トランスポート網の物理ネットワーク上にOSPFパスコストに基づく通信経路と，SR-TEによる伝送遅延値に基づく通信経路がLSP（Label Switched Path）^*30として生成される．このLSPがトランスポート網内での「スライス」に相当し，このLSPに対してサービスに応じたVPN（Virtual Private Network）^*31を紐づけることで，多様なユーザニーズに応じた通信を実現することができる．ただし，トランスポート網では，3GPP（3rd Generation Partnership Project）^*32で規定されているS-NSSAI（Single-Network Slice Selection Assistance Information）^*33のようなネットワークスライスを判別する識別子を認識する機構がないため，CE（Customer Edge）^*34から届いたパケットの情報に基づいてVPNをどのLSPに紐づけるかを選択する必要がある．

なお，識別子としては，上記の方法以外に，宛先IPアドレスなどの情報を利用することも可能である．

（b）LSPにおける異常検知

LSPの起点となるNEをLER（Label Edge Router）^*35と呼び，ラベルが付与されたパケットを転送するNEをLSR（Label Switching Router）^*36と呼ぶ．

LERは，SDNコントローラから受け取ったID SID listを用いて，通信経路に異常がないかを確認するためのプローブ^*37信号を定期的に送信し，疎通確認が一定間隔で確認できなくなった場合に，SR-policyの経路上に異常が発生したことを検知する．

LSPでは，Primary PathとSecondary Pathの2本のPathが計算によってあらかじめ作成され，通常時はPrimary Pathを使用する．LSPの異常を検知した場合には，SR-TEの機能の1つであるTI-LFA（Topology Independent–Loop Free Alternate）^*38によりBackup Pathへ高速迂回が実施される．その後，SDNコントローラ側でも異常を検知した段階でSecondary Pathに切替えを行う．

3.3 SDNコントローラの導入

（1）SDNコントローラの概要

今後，ネットワーク・スライシングを用いたサービスが多様化すると，大多数のサービスがオンデマンドで提供されることが考えられ，その場合，前述のSR-TEを用いたトランスポート・スライシングでも多数の経路設定を効率的に実現することが必要となってくる．そのためにSDNコントローラの導入が必要となる．

SDNの概念を取り入れると，トランスポート網はデータを転送するNEと，設定・制御を集中的に司るSDNコントローラの2つに分類される[5]．

SDNコントローラは主に①PCE機能，②装置設定機能，③ネットワーク情報可視化機能の3つの機能から構成される．

① PCE機能

PCE機能では，NEからのSR-policy従った経路の要求をPCEP（Path Computation Element communication Protocol）^*39と呼ばれるプロトコルを用いて受信し，SDNコントローラでパスの経路を計算した後に，PCEPを用いて計算結果のパスの経路をNEに対して伝達する[6]．このとき，SDNコントローラはBGP-LSなどのプロトコルを用いてNEのトポロジを把握することで経路計算を可能にしている．

通常，1つのIGPドメイン^*40を管理するSDNコントローラは1つであり，特定のIGPドメイン内で終端する経路を計算する．ただし拡張機能があり，SDNコントローラ同士を接続することで，複数のIGPドメインを経由するパスの経路計算が可能となる．

② 装置設定機能

装置設定機能では，設定に必要なコマンドをSDNコントローラからNEへ投入する．

例えば，NEに対してVPNの設定をすることで，トランスポート・スライシングをVPN単位で実現することが可能となる．

SDNコントローラは，他のコントローラからの要求を受け付けるNBI（NorthBound Interface）^*41を具備していることが多く，サービスオーケストレータなどの，サービスのSLA（Service Level Agreement）^*42情報を所持した外部システムと連携することで，サービスに応じたトランスポート・スライシングが実現可能となる．

③ ネットワーク情報可視化機能

ネットワーク情報可視化機能では，SNMP（Simple Network Management Protocol）^*43などのネットワーク情報収集プロトコルを用いてネットワークから収集した情報をGUI上に表示する．GUI上に表示する情報は，トポロジ状態やVPNの状態，作成したSR-TEの経路状態など多岐にわたる．また，将来的にはSNMPのようなSDNコントローラとNE間で相互通信が必要なプロトコルではなく，Telemetry^*44といったNEからSDNコントローラへ一方的に情報を送信するプロトコルを使用することで，ネットワーク全体の負荷を下げることができ，これによりGUI上でネットワークの状態をより迅速に可視化することが期待される．

（2）AR網におけるSDNコントローラの実装

AR網では，ACRとAGRの2種類のNEの監視・制御・設定を，NE-OPSとSDNコントローラの両者で機能を分担して実現している．この機能分担のうちSDNコントローラは，PCE機能とネットワーク情報可視化機能を担っている．AR網のSDNコントローラは，図5のとおりBR網以外の他ネットワークを所掌するSDNコントローラと接続している．これらの構成とすることで，下記の効果を実現する．

① スライス制御機能（PCE機能）

AR網のSDNコントローラだけではAR網外のトポロジを把握できないため，AR網内で完結する経路しか計算ができない．他ネットワークを所掌するSDNコントローラを接続したことにより，他ネットワークのトポロジ情報をAR網とともに把握することができるようになるため，AR網から他ネットワークまでのSR-TEの経路を計算可能となる．前述したとおり，Performance Measurement機能を用いてNE間の伝送遅延値を測定しておくことで，AR網から他社網までの間で極力小さな伝送遅延値の経路を計算・選択して，ユーザの通信を通すことが可能になり，低遅延サービスへの寄与が期待される．

② ネットワーク情報可視化機能

AR網から他社網までのトポロジやVPNをGUI上に可視化表示できるようになる．これにより，トランスポート・スライシングの状況を一目で判別できるようになり，ネットワーク・スライシングを利用するユーザへの影響をいち早く確認できるようになることが期待される．

（3）BR網におけるSDNコントローラの実装

BR網のSDNコントローラは，図6のようにNE-OPSに統合されている．このため，NE-OPSは自身のNE制御などの各種機能に加え，BR網内のスライスを管理・制御する機能も備えている．具体的な機能と効果を以下に示す．

① スライス制御機能（PCE機能，装置設定機能）

BR網の各NEは，リンクごとの帯域使用率や伝送遅延値を定期的に計測しNE-OPS（SDNコントローラ）へ通知している．SDNコントローラはそれらの情報を用いて各ユーザのSLAに応じた最適な経路を定期的に計算し，よりSLAに適合する経路がある場合にはPCEPメッセージにてNEへ該当するSR-TE LSPの経路を変更するよう指示する．この機能により，BR網内の状態が変化しても低遅延などのサービスを要求するユーザに対し最適な通信経路を適宜提供できるようになる．

② ネットワーク情報可視化機能

BR網内のリンク単位・ユーザ単位のトラフィック転送量を定期的に収集しており，しきい値判定に基づき異常を検知することができる．BR網内において異常が発生した場合には，保守者はどのユーザのどの区間（NEまたはNE間リンク）に影響があるかを，過去に遡って確認できる．また，Resource Assuranceなどの外部システムは，NE-OPSが収集したトラフィック情報やアラーム情報を，NBIを経由して取得することも可能である．

③ その他機能（NE遠隔制御機能など）

保守者のBR網機器へのCLI（Command Line Interface）^*45アクセスは，ネットワーク内回線経由・監視専用外部ネットワーク経由・緊急接続用コンソールサーバ経由の3経路が準備されている．すべての経路への接続をSDNコントローラの操作だけで実現することができる．