送信側カメラから受信側モニターへの遅延を50ms以下（41.5ms）に抑えた4K相当の3D VR180映像のネットワーク伝送に成功しました。

システム間の遅延ではなく、送信側カメラ映像をネットワークで経由して受信側モニターで表示した際の遅延が50ms以下です。Glass-to-Glassであり、送信側カメラから映像を入力、各種エンコード、送受信、各種デコード、VR形式への変換を行い受信側モニターに表示された映像の遅延が50ms以下です。

※4K相当はFDHカメラ2台を利用しVR180形式にて4K相当としての視聴を可能にしたものです。
※本システムは点対点通信です。ライブ配信等のユニキャスト配信も可能ですが仕組みが大きく異なります。

前回の検証記事では、解像度重視で8K相当の3D VR180映像を140msの遅延でカメラから受信側モニターへネットワーク伝送に成功しました。
https://jouer.co.jp/8k3dvr180-lowlatency-transmission/

通常のカメラとモニターを接続して、その場で表示するだけでも50ms～100ms程度（カメラとモニターによる）遅延します。それらと同じ遅延で遠隔地で映像を表示できます。カメラ映像を映すモニター間の遅延を比較するならば、ゼロ遅延といえます。

本システムは、極低遅延の3D立体視カメラシステムとして発表予定のプロトタイプシステムです。ロボットやAIソリューションへの組み込む、テレプレゼンス、遠隔医療、工業用ロボット、自動運転車、ドローン、セキュリティ・監視システム、遠隔医療など様々な市場への導入が見込まれます。興味がございましたらお気軽にお問い合わせください。

ハードウェア構成

極低遅延を実現するためには、フレームレートも重要です。FHDで120fpsカメラを2台使用しています。レンズには220°広視野角レンズを採用しています。レンズとレンズの距離は、人間の瞳孔間距離(PD)となる65mmに設定しています。さらに近づけることも、広げることもできます。違和感の無い立体視を実現します。

送信側も受信側は120fps以上のフレームレートで表示できる高性能なシステムを利用しています。

もちろんHMDも接続できます。

VR変換せずに、2眼を並べて表示することもできます。VRではない立体システムとしても利用できます。

主な原理

魚眼カメラ×2台の映像をリアルタイムでVR形式（エクイレクタングラー）に変換します。受信側にてHMD（ヘッドマウントディスプレイ）で視聴することで、180°3Dで視聴を実現しています。魚眼カメラの映像は、VPNサーバを経由するので、セキュリティ面も安心です。

検証開始

都内にある自社サーバー室にVPNサーバーを構築しています。インターネットを経由（送信側LAN→インターネット→VPN→インターネット→LAN受信側）して映像を送受信します。映像は外にあるVPNサーバーを経由して受信しています。同一地点で検証していますが、別々のインターネット環境で映像を送受信している環境と同等です。

以下のようなRound-Trip Delay環境で遅延を測定しました。

送信側からPingをVPNサーバーにうつと平均で4msです。
受信側からPingをVPNサーバーにうつと平均で5msです。
送信側から受信側へPingをVPNサーバーにうつと平均で9msです。
受信側から送信側へPingをVPNサーバーににうつと平均で9msです。

本システムは、5Gや4G LTEでも動作可能です。5Gや4G LTEは有線と比べて遅延が増加します。回線品質にもよりますが、10ms～20msの遅延増加で同様に動作すると推測できます。

今回は映像の遅延確認にLEDセンサーを利用します。カメラでLEDの光を撮影し、受信側のセンサーで光の点滅をチェックします。これによりカメラから受信側のモニター表示の遅延を確認できます。

光の点滅の遅延をセンサーで比較することで、精密に遅延を測定します。

29回のサンプリングを行い平均は41.5msの遅延でした。50msを下回る遅延です。とても低遅延な結果になりました。

別の方法でも遅延を計測します。この方法はあまり正確ではありませんが、送信側モニターに表示した数値をカメラで撮影して、受信側モニターに表示して比較してみます。

47.976→47.959
57.990→57.875 ※990に見えるがたぶん880みたいなカウントかもしれません。
00.392→00.357
02.734→02.709
05.109→05.082
07.465→07.450
09.684→09.659

といった感じで20～40msの遅延に見えます。以下クリックすると拡大して見れます。2種類の計測により、おおむね50msを下回る結果は正しいといえます。

逆に～マイナス4ms遅延

もう一つ面白い実験をしてみます。通常のカメラとモニターを接続して、その場で表示するだけでも50ms～100ms程度（カメラとモニターによる）遅延します。では実際にどれくらい遅延しているか計測してみます。

送信側のカメラ映像を、送信側モニターに表示して遅延をLEDで測定します。

カメラを接続しているシステムのモニター画面の遅延になります。

測定結果は約45msでした。先ほどの検証では、ネットワークを経由した受信側モニターの遅延が41msでした。つまり伝送先の映像のほうが早く表示されているのです。むしろマイナス4msの逆遅延です。

動画で撮影して検証してみましょう。120fpsで撮影して、動画編集ソフトで1フレームごと再生します。362フレーム目では、モニターのLEDはどちらも点灯していません。

363フレームでは、受信側のモニターのLEDが先に点灯しました。

364フレームでは、1フレーム遅れて送信側のモニターのLEDが点灯しました。

映像を表示するモニターの構成によっては、ネットワークを経由した受信側モニターのほうが早く表示されるほど、低遅延なシステムです。実際の動画はこちらです。

以上、逆転現象が起きるほど低遅延なシステムになります。送信側カメラから受信側モニターへの遅延を50ms以下に抑えた4K相当の3D VR180映像は、ロボット向け極低遅延3D立体視カメラシステムとして発表予定です。本システムは5Gや4G LTEでも動作可能です。

ロボットやAIソリューションへの組み込む、テレプレゼンス、遠隔医療、工業用ロボット、自動運転車、ドローン、セキュリティ・監視システム、遠隔医療など様々な市場への導入が見込まれます。興味がございましたらお気軽にお問い合わせください。