8K相当の3D VR180映像を低遅延で伝送する検証を行い、カメラから視聴側モニターへのネットワーク伝送を成功

ホーム
ブログ
システム製作, ライブ配信, 技術blog
8K相当の3D VR180映像の低遅延ネットワーク伝送検証 – カメラから視聴側モニターへの高画質＆解像度重視システム

システム製作
2023.04.17

8K相当の3D VR180映像の低遅延ネットワーク伝送検証 – カメラから視聴側モニターへの高画質＆解像度重視システム

8K相当の3D VR180映像を低遅延で伝送する検証を行い、カメラから視聴側モニターへのネットワーク伝送を成功させました。140msの遅延にて8K相当のVR180映像のネットワーク伝送を確認しました。

本システムは解像度＆高画質を重視した設計です。かつ4Kカメラを2台利用することで比較的安価で構築できます。カメラを8Kに変更することで、さらなる解像度を目指すことも可能です。システム納品のほかに8K、5G、AR、VR等の研究開発やPoC向けとして、ソフトウェア及び機材一式も提供しております。お気軽にご相談ください。

※8K相当は4Kカメラ2台を利用しVR180形式にて8K相当としての視聴を可能にしたものです。
※本システムは点対点通信です。ライブ配信等のユニキャスト配信も可能ですが仕組みが大きく異なります。

8KVR180の低遅延伝送の課題は以下になるでしょう。

・8Kカメラシステム
・8KリアルタイムVR変換
・HMD表示
・圧縮
・再生
・低遅延伝送
・帯域幅制約
・画質維持
・ハードウェア要求

これらの課題解決に超低遅延システムとVR配信用ワークステーションを利用しています。

超低遅延（50ms）ネットワーク双方向性4K60fps映像送受信システム
https://jouer.co.jp/distinations/ultralow-videotransmission/
VR配信ワークステーション VR-8K60P-LSRS
https://jouer.co.jp/news/virtual-reality-8k60p-live-streaming-real-time-stitching-system/

ハードウェア構成

4K60fpsカメラを2台並べて同期しました。180°以上視野角で円周魚眼映像になります。これらの映像は、コンバーターを介して、SDIやオプティカルへ変換できます。

4K60fpsカメラを2台の映像をVR配信ワークステーションへ入力します。4K60P（3840×2160@59.97fps）映像を2つ表示できました。

VR配信ワークステーションの映像はインターネットを経由（送信側LAN→インターネット→VPN→インターネット→LAN受信側）して、受信側モニターに表示されます。受信側は、8K映像を処理できる高性能なラップトップ型ワークステーションを利用しています。HMDを接続できます。

主な原理

魚眼カメラ×2台の映像をリアルタイムでVR形式（エクイレクタングラー）に変換します。受信側にてHMD（ヘッドマウントディスプレイ）で視聴することで、180°3Dで視聴を実現しています。魚眼カメラの映像は、VPNサーバを経由するので、セキュリティ面も安心です。

検証開始

受信側のモニターでどれくらい遅延があるのかを測定します。定番のLCD Delay Checkerをつかいます。送信側のモニターにLCD Delay Checkerを表示して、VPNを経由して受信する送信側モニターの写真を撮り、どのくらい遅延しているのかを確認します。

送信ビットレートは10Mbps、圧縮はH265、解像度は3840×2160@59.97×2台（測定は片側のカメラ映像画面を撮影）、撮影したカメラのシャッターは125fpsです。5回撮影してその平均の遅延を出してみます。こんなイメージです。

実際の結果はこちらです。5回分を並べています。

1回目 2:34.949→2:34.798＝151ms
2回目 2:36.42?→2:36.28?＝140ms
3回目 2:37.823→2:37.688＝135ms
4回目 2:39.007→2:38.853＝154ms
5回目 2:40.198→2:40.053＝145ms

という結果でした。平均で145msです。4Kカメラ2台を合成したVR180の8K相当でありますが、解像度＆高画質を重視した設計としては、なかなか低遅延でもあります。

別の方式で検証してみます。LEDとLEDセンサーを利用して、カメラにLEDをうつし、受信側のモニターの光をLEDセンサーで確認することで、さらに正確な遅延を測定できます。

カメラでLEDの光を撮影し、受信側のセンサーで光の点滅をチェックします。これによりカメラから受信側のモニター表示までの遅延を確認できます。

光が消え、光が点灯するまでの差を測定します。

29回の測定を行い、その平均は135msでした。先ほどの測定が平均で145msですから、まあ同じ程度という結果でした。測定ごとに10％ぐらいはバラつきがあるので、さして結果としては変わりませんでした。両方の結果を足して140msとします。ただ2つの検証方法から、ある程度は正しい遅延が測定できました。

さて賢明な映像関係者ならHMDで見るのならば、HMDの液晶画面にLEDセンサーを設置して、遅延を測定するべきだと気が付くでしょう。それは皆様自身で検証できるように残しておきます。もちろんHMDで3D立体視として確認できました。解像度も高くとてもきれいな映像でした。

8K相当の3D VR180映像の低遅延ネットワーク伝送検証

以上、これら機材を導入いただくと、いろいろな検証ができます。8K、5G、AR、VR等の研究開発や補助金等でシステムを導入できる企業様におすすめできるシステムです。お気軽にお問合せください。次回は、超低遅延を重視した仕様の検証を行い、約4K相当VR180映像をカメラからモニターまでの遅延をわずか50msに抑えることを目指します。