報道発表資料

VR対応、3Dアバターへリアルタイムに表情を伝送する遠隔接客システムを開発
-仮想空間の接客でより豊かな表現が可能に-
＜2022年1月13日＞

株式会社NTTドコモ（以下、ドコモ）は、VR機器に対応した3Dアバターへリアルタイムに表情を反映し伝送する遠隔接客システム（以下、本システム）を開発しました。本システムでは、オペレーター側の表情を一般的なWEBカメラで取得できる手軽さと、VR機器を介した没入感のある接客体験を提供することが可能です。

本システムは、接客中のオペレーターの表情をWEBカメラで撮影し、仮想空間のオペレーター役の3Dアバターへリアルタイムに伝送します。お客さまはVR機器やパソコン、タブレットを用いて3Dアバターによる接客を受けます。これまでのアバターによる接客とは異なり、リアルタイムにオペレーターの表情が反映されるため、より対面の接客と近い感覚を得ることができます。また、「リアル」、「デフォルメ」の2種類のテイストのアバターから選べるため、シーンや業種に合わせた対応が可能です。

アバターや表情表現には、Pinscreen社の技術を用いています。特に同社の「ニューラルレンダリング技術※1」は、フォトリアルなアバターの顔を生成できる特長があり、リアルな表現を実現しています。このような技術をドコモがVR上でのコミュニケーション技術に応用することで、仮想空間でのリアルな3Dアバターによる表現が可能になりました。スマートフォンやタブレットを介する場合も、レンダリングをシステムのサーバー側で行いストリーミングするため、端末のスペックに依存することなく高品質なアバターを利用することができます。

アバター例（VR版）

本システムには、アバターによる表情伝送に加え音声通話のほかにも画面共有や文字チャットなど接客応対に必要となる機能を備えています。遠隔地からのリモート接客による働き方改革や地方創生に貢献できると考えています。

今後、実際の接客シーンでのトライアルを踏まえながら商用化をめざしてまいります。
なお、本システムはNTTグループが展開するXR事業（NTT XR）の取り組みの1つです。また、2022年1月17日（月曜）からオンライン上で開催する「docomo Open House’22」にて、本システムをご紹介※2します。

ニューラルレンダリング技術とは、機械学習を用いてCGのレンダリング処理を2次元画像の情報のみで実現する技術です。Pinscreen社では、GAN（敵対的生成ネットワーク）を用いた「PaGAN」（photoreal avatar GAN）という独自のニューラルレンダリングエンジンを開発しています。なお、スマートフォン、タブレット、パソコン版のみの対応となります。
「docomo Open House’22」イベントサイト（https://openhouse.docomo.ne.jp/）をご覧ください。

別紙　本システムの概要

1. 特長

VR機器および3Dアバターに対応
「リアル」、「デフォルメ」の各テイストによる豊富なアバターを提供
「ニューラルレンダリング技術」による高品質かつリアルなアバターを実現
画面共有や文字チャットなどの接客に必要な機能も提供

2. 利用イメージ（概略）

3. ご対応機器

オペレーター側
パソコン（Windows、Webカメラが必要）
お客さま側
- VR版：Oculus Quest2
- スマートフォン・タブレット版：スマートフォン・タブレット（iOS／iPad OS、Android）
- パソコン版：Windows、Mac OS
  - スマートフォン、タブレット、パソコンはWebアプリでの提供となり、対応ブラウザは、ChromeとSafariです。