16K（360°）30fps 相当のVRリアルタイムプレビューシステムを構築します。

ホーム
ブログ
VR関連, システム製作, ライブ配信, 技術blog
16K30fps(360° 相当)のVRリアルタイムプレビューシステム

VR関連
2022.07.12

16K30fps(360° 相当)のVRリアルタイムプレビューシステム

ジュエ株式会社は、最新のVR撮影及びライブ配信システムを提供しております。ご要望に合わせてハードウェアからソフトウェアまで、必要に応じて開発を行い関連システムの提供をしております。より複合的で高性能な機能（耐久性、高解像度、超低遅延、遠隔操作等）を実現するVRを応用した特殊なシステムに関してお気軽にご相談ください。

VRシステム事業のご案内
https://jouer.co.jp/system/

今回は16K（360°）30fps 相当のVRリアルタイムプレビューシステムを構築します。180°レンズを装着した8Kカメラから、NDIで8K映像を送信できるワークステーションを構築します。受信側のワークステーションでは、NDIをリアルタイムでステッチ（エクイレクタングラー変換）してHMDでVR視聴できます。

実際には8Kの映像ですが、180°の映像部分で8Kです。つまり360°相当で言えば、16K相当の解像度です。従来のHMDの解像度を遥かに超える画質を持ちます。VRもこのぐらい解像度があると美しいです。特殊なシステムに関してお気軽にご相談ください。

180°レンズを装着した8Kカメラ「Z CAM E2-F8」

カメラには、弊社取り扱いの「Z CAM E2-F8」を利用します。EFマウントタイプ仕様に変更しています。カメラや周辺機器・ワークステーションの販売のほか、レンタルもしておりますのでご興味があればお試しください。

https://digitalhobby360.jp/rental/8k-ndi-camera/

レンズには、Canonの180°フィッシュアイ・ズームレンズを使用します。検証に最適なレンズです。フッシュアイなのにズームなのが素晴らしいです。カメラのセンサーサイズに合わせて、イメージサークルを調整できます。※本導入のシステムには、単焦点のフッシュアイレンズが良いでしょう。

カメラ側の設定は、8K（7680×4320ピクセル@29.97）にて設定します。

電源はACで動かします。「Z CAM E2-F8」は、NDI動作が可能なカメラです。ワークステーションとLAN接続して利用します。カメラに1GbpsのLANケーブルを接続します。本記事作成時のカメラファームウェアは0.98です。

NDI送信用ワークステーションを構築

NDI送信用ワークステーションは、有線LANで接続した「Z CAM E2-F8」から映像を受け取りNDI化します。

解像度を8K、fpsを29.97、8KなのでコーデックをH265に設定します。カメラから受け取る映像のビットレートを200Mbpsにしています。もっと高くすることも、低くすることも可能です。「Z CAM E2-F8」をNDI化するソフトウェアは、たぶんNDI4を利用しています。そのためNDI送信用ワークステーションとカメラ間の通信速度は指定できますが、NDI送信用ワークステーションとNDI受信用ワークステーションの間の通信速度は指定できません。

NDI受信用ワークステーションの構築

同じネットワーク内にNDI受信用ワークステーションを設置します。今回はローカルネットワーク内で動かしています。

NDIツールで受信テストをしてみます。8K（7680×4320）@29.97で安定して受信できています。

通信速度も見てみます。約400Mbpsで安定しています。

イメージサークルいっぱいに、映像を映したいので、ズームを調整します。

センサーの端までサークルを広げました。横が7680ピクセルなので、7500～7400ピクセルはあるでしょう。

以上にて

カメラ
↓
NDI送信用ワークステーション
↓
NDI受信用ワークステーション

という流れで8K（7680×4320）@29.97を受信することができました。

NDIなので1秒ぐらい遅延します。1秒以下の低遅延化はNDIを利用する仕組み的に難しいでしょう。超低遅延を目指す場合には、8KのSDI（SI）などに対応するシステムを利用するのがよいでしょう。HDMI2.1は未だに見たことがないのですが、そのうち出てくるかもしれません。そうなるとシステムが身近になります。

8K映像をリアルタイムステッチ＆プレビュー

NDI受信用ワークステーションでは、8K（7680×4320）@29.97を映像をリアルタイムに視聴できています。キャリブレーションボードを利用して映像の歪みをリアルタイムにエクイレクタングラー形式に変換します。エクイレクタングラー形式に変換した映像をソフトウェア内のスクリーンに表示することで、HMD等からリアルタイムに視聴することができます。

今回のカメラの映像は、水平180°、垂直120°～110°ぐらいでしょうか。水平180°で7500pxぐらいあります。VRとして視聴できるエリアは水平180°、垂直120°～110°しかありませんが、360°換算にした場合は16K相当の画質で見えていることになります。以下部屋の奥に時計が映っています。