5G Evolution & 6G特集(2) —具体化に向けた取組みとユースケース—
「超低遅延」「無途絶」「超臨場感」を体現可能とする映像伝送処理基盤

2020年3月にサービス開始された第5世代移動通信システム（5G）は，「高速・大容量，高信頼・低遅延，多数端末同時接続」を特長とし，一般コンシューマだけではなく産業機器や社会インフラなど，さまざまな分野での活用が進められている．5Gを活用したユースケースはエンターテインメントやセキュリティ，遠隔操作や自動運転など多岐にわたるが，多くのユースケースにおいて映像が用いられることから，無線通信を活用した映像サービスも，コンシューマ向け，エンタープライズ向け双方での適用拡大と，さらなる進化が期待されている．

一方で無線通信は，移動における通信帯域^*1の変動やネットワークを利用する他ユーザの通信状況の変化といった各種環境変化に伴って絶えず通信速度^*2が変化するなど，利用にあたって各種制約を伴う．また，5Gサービスの普及・拡大に伴いユーザ通信も大容量化しており，このような制約は今後さらに厳しく，激しくなるものと予想される．さらに，現状においては高品質な映像を伝送する上で十分な通信速度が得られない環境も少なからず発生している．これらの制約の下で通信速度を超える大量のデータや信号をネットワーク上に送信すると，ネットワークの一部に著しいデータの滞留やデータ損失が発生する．このため，無線通信を活用した動画映像サービスにおいては，上記のような各種制約を理解して適切に運用しないと，受信映像の途絶や品質劣化，遅延などが発生し，サービスの運用に支障をきたす恐れがある．

そこでドコモでは，映像サービスへの期待と無線通信利用時の制約を両立させるための映像伝送処理基盤を開発し，docomo MEC^*3上に導入している．本稿では，その中でも代表的な，通信環境に合わせて適切な伝送レートで映像データを送信する機能と，十分な通信速度が得られない環境下でも高品質な映像を提供する機能を2種類解説するとともに，これらの機能を適用した各種実証実験の内容と，ドコモが考える映像ユースケースの今後の展望についても解説する．

1. 通信帯域：通信に用いる周波数の範囲．
2. 通信速度：送受信できるデータ量．
3. docomo MEC：ドコモ5Gコアネットワーク内のユーザの近くにサーバを配置し，仮想マシン環境や接続環境を提供して低遅延・高セキュリティを実現するためにドコモが提供するMEC（Multi-access Edge Computing）サービス．

本機能は，絶えず変動するネットワークの通信速度を推定し，適切に伝送レート制御を行うことで，映像途切れが抑制されたスムーズなリアルタイム映像伝送を実現するものである[1][2]．

高品質な映像の伝送においては，大容量の映像データが送出される一方，通信速度以上のデータが送出されると，データの滞留やデータ損失が発生し，映像途切れや遅延の増加を引き起こす．そこで本機能では，映像データを送受するアプリケーション間でデータ送信時のRTT（Round Trip Time）^*4やパケットロス^*5の発生率など各種情報をやり取りし，これらの情報を基にネットワークの通信速度をミリ秒単位でリアルタイムに推定している（図1）．映像データをネットワーク上に送出する際には，導出された通信速度推定結果に応じて映像解像度や映像コーデック処理^*6の圧縮率を動的に調整する．この結果，利用しているネットワークの通信速度が変動しても，適切な伝送レートでの映像データ送信が可能となり，映像途切れや遅延の増加が抑制される．

なお，現在ドコモでは本機能のさらなる精度向上に向けて，上記の方法に加えて基地局情報や端末情報など（個人情報を除く）も活用した協調型推定手法も検討している．また，並行して本機能を各種映像ユースケースに適用した場合の有用性を検証するために，実証実験を実施しており，その内容については後述する．

2.2 AIによる映像高品質化

本機能は，圧縮伝送した低容量映像データにAIを用いた超解像処理を施すことで，送信レートを抑えつつ撮影当時の高品質な映像の提供を可能とするものである（図2）．

超解像処理とは，低解像度の画像から高解像度の画像を生成する画像処理技術である．図3に示すように，既存の画像で不足しているピクセル間の情報を，演算により補間することで高解像度の画像を生成する．従来，補間する際の演算方法には，線形式を使う方法や，bicubic法^*7といった手法が用いられていたが，これらによる補間は既存の映像と比較して映像品質が劣化してしまう．そこで補間処理に，AIを用いることで，映像品質の劣化なしに高解像度の画像を生成できる．

なお映像伝送においては，送信レートが映像品質に対して重要な要素となる．ここで解像度および画像処理方式別に異なる送信レートで映像伝送した場合の受信映像の品質について，VMAF（Video Multimethod Assessment Fusion）^*8[3]と呼ばれる客観評価指標で評価した結果を図4に示す．VMAF値が高いほど画質が高く，綺麗な映像である．この評価結果から，送信レートが低い場合に，8K映像のまま高い圧縮率でデータを圧縮して送るよりも，4K映像を低い圧縮率で圧縮伝送した後AIを用いた超解像処理で8K映像に拡大した方が綺麗な映像となることが分かる．

そこでドコモでは，十分な通信速度が確保できない環境下においては，解像度を落とした上で映像データを圧縮伝送し，さらにdocomo MEC上でAIを用いた超解像処理を施すことで，送信レートを抑えつつ高品質映像の提供を可能としている．

一方，AIを用いた超解像処理では，処理負荷が大きいことと処理遅延が発生することが課題として挙げられる．リアルタイムな映像伝送を実現するためには，処理負荷の削減および低遅延化が必要である．そこで，映像特性を考慮した優先領域の自動指定アルゴリズムやAIを用いた認識機能と連携することで，超解像処理を優先的に施す領域を定義し，それに従って超解像処理をする．これにより，処理負荷の削減と低遅延化を実現している．

2.3 特徴点情報による映像高品質化

本機能は前述した「AI超解像処理による映像高品質化機能」と同様に，圧縮伝送した低容量映像データを高品質化するものであるが，これはあらかじめ映像データから抽出された特徴点情報に基づいて，高品質映像を再現する機能である．

本機能ではまず，映像送信側にて伝送する映像データを，映像主データと高周波成分情報^*9に分離する（図5）．一般的な映像伝送では，映像データはコーデック処理が行われた上でネットワーク上に送出されるが，データが量子化^*10される際に高周波成分情報が情報量削減のために削除され，映像の質感が大きく損なわれてしまう．そこで，本機能においてはあらかじめ高周波成分情報を抽出しておき，残った映像主データのみ通信環境に合わせて解像度をダウンサイズした後コーデック処理を行って伝送する．その後，docomo MEC上にて受信映像の解像度をアップスケールして元の解像度に戻した後，映像伝送時のコーデック処理によって劣化した映像に対してリンギング低減^*11やジャギー低減^*12処理を施す．さらにエンハンス機能^*13によって輪郭補正を実施した後，高周波成分情報を適用することで映像の質感を再現する．その際，受信した映像のYCrCb^*14情報から生成する顕著性MAP^*15により，色の濃淡情報を判定して高周波成分の強弱を調整することで，臨場感のある映像が再現できる．

1. RTT：データを送信してから応答が返ってくるまでの往復時間．
2. パケットロス：データの一部またはすべてが届かずに消滅してしまうこと．
3. コーデック処理：映像や音声データに対し，符号化方式を使って圧縮や復号を行うこと.
4. bicubic法：求める画素の周囲4×4画素を用いて，3次関数により画素値を補間する手法．
5. VMAF：人間の主観により近い画質評価を行うことができる機械学習ベースの画質評価指標．
6. 高周波成分情報：画像に含まれる空間周波数成分のうち周波数の高い成分で，変化の激しい部分ほど高周波成分が多く含まれる．
7. 量子化：変換処理にて生成される離散データの値を，飛び飛びの値である粗い区間の代表値に対応づけること．歪みを許しながら大幅に情報量を削減することが可能．
8. リンギング低減：画像のコントラストの高い部分に発生した輪郭ノイズを除去して映像を鮮明にするための映像処理方法．
9. ジャギー低減：線や輪郭に現れる階段状のギザギザを除去して，輪郭を滑らかにする映像処理方法．
10. エンハンス機能：輪郭を強調して，くっきりとした映像にする映像処理方法．
11. YCrCb：色を表現するために輝度や色差情報を数値化したもの．
12. 顕著性MAP：入力画像を特殊な方法で二値化し，色の濃淡などの情報から特徴のある部分を抜き出しMAPPINGする映像処理方法．

前述した機能は，各種通信制約の下で高品質映像の提供を可能とするものであるが，その有用性については，各ユースケースの実態を正確に把握した上で検証する必要がある．そこでドコモでは，これらの機能を用いた各種実証実験を実施している．現在計画中のものも含めて以下にその一部を紹介する．

映像ユースケースの今後の展望を図6に示す．映像サービスはこれまで4Kや8Kなど映像高精細化を中心に発展してきたが，5G時代においては5Gの特長を活かした新たな映像サービスが，コンシューマ向け・エンタープライズ向け双方で創出されてきた．現状の5Gを活用したユースケースの多くが映像系サービスであり，6G時代に向けても映像系ユースケースのさらなる拡大が見込まれる．具体的には，以下3つが挙げられる.

1. 表現空間の拡大や映像表現の進化による「対人サービスの拡張」
2. 安定性・低遅延性の進化による「産業利用の拡大」
3. 情報源としての進化による「センシング用途などの新領域での活用」

いずれもよりハイレベルな臨場体験の提供や，よりミッションクリティカル^*16な領域での活用が加速すると見込まれる．一方で，16Kなどのさらなる映像高精細化については「ヒト」への活用機会は限定的であり，センサ情報源としての活用やAI連携など，新たに「モノ」による活用が増加し，安心・安全などにかかわるユースケースの高度化や未知なる世界の解析など，新領域での活用が予想されるなお，現行の映像伝送処理基盤は図6の点線枠で囲ったところに位置付けされるが，前述した基地局情報や端末情報なども活用した協調型推定手法の検討など，6G時代に向けた進化をめざす．

1. ミッションクリティカル：サービスを継続的に提供できることが極めて重要であり，障害などによる中断が許されない，あるいは非常に大きな損害になり得るシステムを指す．

本稿では，通信帯域を有効活用する映像伝送・処理技術として，通信環境に合わせて適切な伝送レートで映像データを送出する機能，圧縮伝送された映像データを高品質化する機能について解説した．また本機能を活用した実証実験の内容や，映像ユースケースの今後の展望についても解説した．今後の映像ユースケースにおいては，あらゆる無線通信の制約の下，よりハイレベルな臨場体験の提供や，よりミッションクリティカルな領域での活用が加速すると見込まれる．本稿で紹介した機能はこのようなユースケースにおいて有用に働くものと考えているが，前述したとおり，現行では一部課題も抽出されている．今後は抽出された課題の解決に向けて取り組むとともに，さらなる実証実験の実施と，新領域での活用に向けた各種解析技術との連携などさらなる映像伝送処理基盤の拡張に取り組んでいきたい．

• [1] T. Higuchi, N. Shimizu, H. Shingu, T. Miyagoshi, M. Endo, H. Asano, Y. Morihiro and Y. Okumura：“Video Sending Rate Prediction Based on Communication Logging Database for 5G HetNet,”2018 IEEE 87th Vehicular Technology Conference (VTC Spring), Jun. 2018（DOI: 10.1109/VTCSpring.2018.8417825）.
• [2] S. Floyd, M. Handley, J. Padhye and J. Widmer：“TCP Friendly Rate Control(TFRC): Protocol Specification,”RFC5348, Sep. 2008.
• [3] Z. Li, A. Aaron, I. Katsavounidis, A. Moorthy and M. Manohara：“Toward A Practical Perceptual Video Quality Metric,”THE NETFLIX TECH BLOG，Jun. 2016.
• [4] 丸小，ほか：“C-V2Xを活用した協調型自動運転に向けたドコモの取組み，”本誌，Vol.31，No.3，Oct. 2023．
  https://www.docomo.ne.jp/corporate/technology/rd/technical_journal/bn/vol31_3/004.html