遅延ゼロに等しい超低遅延(50ms)4K60p映像伝送システム

超低遅延(50ms)の4K60p映像伝送システムを紹介します。ほぼ遅延ゼロに等しい映像伝送システムです。50msといえば、0.05秒の遅延です。ネットワークを経由して4K60p映像をリアルタイムに送受信できます。

ジュエ株式会社は、最新のVR撮影及びライブ配信システムを提供しております。ご要望に合わせてハードウェアからソフトウェアまで、必要に応じて開発を行い関連システムの提供をしております。お気軽にご相談ください。

超低遅延(50ms)4K60p映像伝送システム
https://jouer.co.jp/distinations/ultralow-videotransmission/ 

本記事では、通常の16:9の映像伝送装置として利用しておりますが、VRにも対応しています。リアルタイムで魚眼映像をVR形式であるエクイレクタングラーに変換して、同様の遅延で対地側に送ることができHMDで視聴可能です。以下、VR関連記事です。

お知らせ:2023.04.17
8K相当の3D VR180映像の低遅延ネットワーク伝送検証 – カメラから視聴側モニターへの高画質&解像度重視システム
https://jouer.co.jp/8k3dvr180-lowlatency-transmission/

お知らせ:2023.04.25
極低遅延3D立体視カメラシステムー4K VR180映像50ms以下(41.5ms)遅延伝送に成功
https://jouer.co.jp/ultra-low-latency-4k-3d-vr180-camera-system/

お知らせ:2023.04.26
地球の裏側、距離18000キロの超低遅延(160ms以下)VR180 映像伝送実験に成功
https://jouer.co.jp/18000km-ultra-low-latency-vr180/

超低遅延(50ms)4K60P映像伝送システム概要

2つの超低遅延4K60P映像伝送システムで1セットです。それぞれのシステムをネットワーク回線(4G LTE/5G/5Gローカル/有線LAN)に接続します。安定した回線が必要ですが、閉域ネットワークなどの専用回線を必要ありません。もちろん閉域ネットワークで動かすこともできます。

システムごとに、それぞれ4K60Pカメラとマイクスピーカなどを用意します。超低遅延4K60P映像伝送システムをインターネットに接続すると、専用VPNサーバに接続されて超低遅延(50ms)で4K60fps映像と音を双方向で送受信できます。


このシステムを使えば2つの地点にて、4K60Pという高画質な映像で、ZOOMのように会話することも可能です。離れたオフィスとオフィスの壁面に大型のモニターやプロジェクタを設置して、リアルタイムに24時オフィスを繋ぐことも可能です。モニターの向こう側に話かけることができます。

オフィスと工場、オフィスと現場、会場と会場など、さまざまなシーンをリアルタイムで繋ぐことで、かつてない新しいコミニケーションが可能であり、いろいろな応用が可能になります。音楽ライブなどの会場を繋ぐビューウィングシステムとしても利用できるでしょう。

映像伝送システムは、ワークステーション型になっているため、用途に応じて拡張が可能な点も魅力です。今回の検証では実際に離れた場所にVPNサーバを準備して、インターネット(有線とルーター)を経由し映像を送受信しています。ローカルネットワークによる動作ではありません。

左のカメラの映像は、右のモニターにて表示されます。右のカメラの映像は、左のモニターにて表示されます。双方向に4K60Pの映像を送信できます。

映像の遅延について考えてみよう

映像の遅延に関していろいろと考えを巡らせてみます。ネットワークで映像を伝送(通信)することを考えた場合に、映像送信のプロトコルを何にするかが大きな課題になります。もっとも一般的なプロトコルはRTMPです。

RTMPは5000ms(約5秒)ぐらいの遅延があります。設定や環境によっては、2000ms(2秒)や10000ms(10秒)ぐらいになるかもしれません。

より低遅延なプロトコルとして、SRTがあります。こちらは500ms(0.5秒)ぐらいでしょうか。最適化することで150msぐらいには低遅延になるかもしれません。本システムは、50ms(0.05秒)ではるかに低遅延です。

RTMPなどでは遅延が大きいため、カメラ映像出力やその映像表示の遅延は、小さ過ぎてほとんど気にならないでしょう。しかし超低遅延(50ms)になると、逆にそれ以外の遅延が大きくなります。

例えば、これから紹介する超低遅延(50ms)映像伝送システムでは、「カメラ出力→システム入力表示」の遅延が約130ms秒あります。そこから映像を伝送して、受信側のシステムで表示するのに40ms遅延します。

つまり「カメラ→ネットワーク→受信側システム表示」を行う場合は、合計で170msの遅延で表示できました。170msといえば0.17秒になります。0.17秒の遅延は人が見たときに、ほとんど遅延が気にならない速度です。

今回のシステムは、高画質ハイフレームを重要視しており低遅延かつ「4K60P」に重点を置いた設計です。解像度や画質を落すことで、より低遅延なカメラを接続することで、さらなる低遅延化が可能です。より低遅延なカメラシステムで構築すれば、乗り物などの操作も可能な遅延時間です。

実際に映像の遅延を計測してみる

もっとも簡単な遅延測定方法は時間や時計のアプリを使い画面をキャプチャーして時差を調べる方法ですが、今回より正確に遅延を測定する装置を使います。


仕組みとしてはLEDライト(点滅)とLEDセンサーにて、LEDライトの点灯時差を測定することで、それら区間の遅延を調べることができます。遅延に関して様々なことわかるこちらの計測機材も販売しておりますので、お気軽にお問い合わせください。

まず4K60P出力の遅延を測定してみます。LED点滅をカメラで撮り、そのLED点滅をモニターで表示して、その表示画面のLED点滅をセンサーで計測することで、「カメラ出力→システム入力表示」の遅延時間を測定できます。

システムモニターの前に光センサーを設置します。

LEDのオンオフを光センサーで検知することで遅延が分かります。

133msの遅延であることが分かりました。133msは0.13秒です。「カメラ出力→システム入力表示」の部分の遅延になります。グラフの立ち上げりの取り方により、多少数値が変わりますので±20msぐらい見てもよいかもしれません。余分に+側として見て150msぐらいと見てよいでしょう。

次にAから映像を送り、Bのモニターで測定します。測定のために同一地点にシステムを設置しておりますが、それぞれインターネットに接続して、専用のVPNサーバに繋がるように設定しています。同じ場所にありますが映像的には、離れた受信となっています。

接続的には、このように映像が繋がっています。

〇A映像伝送システム

〇ルーター

〇インターネット

〇VPNサーバ

〇インターネット

〇ルーター

〇B映像伝送システム

Aから映像を送り、Bのモニターで測定します。映像送信ビットレートは6Mbpsです。

その結果は170msでした。0.17秒です。この測定結果には、カメラ側の遅延も含まれた数値です。つまり170ms-133ms=37msがシステム間として映像を送信と表示できた結果になります。

本検証ではカメラもVPNサーバーも都内にありますので、ネットワーク環境も考慮して、計測の誤差を考えますと全体で200msと考えてちょうど良いかもしれません。

今回は、有線ネットワークで検証しておりますが、5Gネットワークなどを利用した場合でも200ms~300ms程度の遅延に収まると考えています。

実際に170ms遅延の映像を体感したい人は、こちらの動画をご確認ください。左から右へVPN経由で映像を流しています。

遅延映像

通信速度と画質を検証

通信環境に合わせて、自由に送信のビットレートを選択できます。4K60Pの場合は、2Mbpsだと少し圧縮ノイズが気になります。一般的なライブ配信の品質を求める場合は20Mbpsまで上げたいところですが、弊社のテスト環境では20Mbpsまで上げると応答速度が悪くなり画質が悪化しました。4Mbps、8Mbpsと16Mbpsとこのあたりを試してみて、良い設置を利用するのがよろしいでしょう。

画質的には、4Mbps~8Mbpsでよくなる印象です。その中間の6Mbpsにて送信して受信した映像を外部レコーダーでRECします。解像度は3840×2160@59.94fpsのProresLTで収録します。

映像の品質は、以下の動画をご確認ください。そのままYoutubeにアップした映像です。カメラ収録の映像ではなく、実際に低遅延で伝送した映像をそのまま収録しました。※解像度など低い時は、Youtubeのネジアイコンから解像度をご確認ください。

6mbps2

低遅延な映像プロトコルを検討する場合、多くのケースではWebRTCが候補にあがります。WebRTCを利用すれば同じぐらいの低遅延な映像を受信できますが、高解像度を送信すると、フレームレートが落ちたり、映像が途切れたり、画質の低下が問題になるかもしれません。上記の映像を確認いただいてWebRTCより優れたメリットを感じて頂けるのならば、本システムを導入する価値がきっとあるでしょう。

会話できるほどの低遅延を目指さない場合は、古くからあるRTMPやSRTを利用することで目的を達成できるかもしれません。しかし1秒以下、0.5秒以下の映像伝送を目指すには、本システムが最適なソリューションになるかもしれません。お気軽にお問い合わせください。

ジュエ株式会社は、最新のVR撮影及びライブ配信システムを提供しております。ご要望に合わせてハードウェアからソフトウェアまで、必要に応じて開発を行い関連システムの提供をしております。お気軽にご相談ください。

超低遅延(50ms)4K60p映像伝送システム
https://jouer.co.jp/distinations/ultralow-videotransmission/ 

関連記事一覧

最近の記事

オススメ記事

PAGE TOP