コロナ過も終わりリモートトレンドは穏やかな状況ですが、撮影現場の360°カメラ映像を離れた各地の監督やディレクターに映像を届ける方法をご紹介します。幅広い意味でVRビデオアシスト（Video Assist）やVRビデオボーイ（VIDEOBOY）、VRプレイバックオペレーター（Playback Operator）業務といえます。半分造語です。
各地にいる監督やディレクターが撮影現場をリアルタイムに360°VR映像として、視聴したいという案件を想定します。できるだけ低遅延（1秒以内）が希望です。課題としては、360°VR映像をいかに低遅延で伝送して、どのように視聴するのか、プレイバックをどうするかになるでしょう。
以下のような弊社の専用システムやソフトウェア開発をすれば、対応できますがそれらの予算がある現場は限られます。できるだけありものや、フリーのソフトウェアを使って実現できないかを考えてみます。
ここから広告
VRシネマ撮影＋リアルタイムプレビューシステム
ジュエ株式会社では、REDシネマカメラ+広角レンズなどを利用したシネマクラスのVR撮影や、大型ドローンによるシネマクラスのVR撮影を提供しています。それら撮影と同時にリアルタイムステッチした映像を伝送し即座に視聴できる、より高度なVRビデオアシスト（Video Assist）やVRビデオボーイ（VIDEOBOY）、VRプレイバックオペレーター（Playback Operator）業務も提供しています。お気軽にお問い合わせください。
撮影事業のご案内
https://jouer.co.jp/shot/
ここまで広告
遅延１秒は、難しいがHLSベースで考えてみた
遅延１秒は難しい要望です。RTMP/HLSを使えば30秒～1分程度の遅延になります。各地の人に見てもらうことは可能です。5秒前後でよければLow latency HLSを使えばなんとかなります。HLSベースであれば、無償で利用できる360°VRを視聴できるプレイヤーがいくつかあります。5秒以上の遅延を許容できるのであれば、なんとかなりそうです。
さっそく試してみましょう。360°カメラはQooCam 8K Enterpriseを用意しました。リアルタイムでステッチされた360°エクイレクタングラー形式の映像をHDMI出力できます。HDMIをプレイバックするためにSHOGUNと、HDMIの映像を多機能にエンコードできるVEGA-2002も用意しました。真ん中のQooCam 8K Enterpriseの映像をSHOGUNに送り、SHOGUNからVEGA-2002へ映像を送っています。
QooCam 8K Enterpriseについて
https://jouer.co.jp/?s=QooCam+8K+Enterprise
VEGA-2002について
https://jouer.co.jp/?s=VEGA-2002
360°カメラQooCam 8K Enterpriseから、4K30Pのエクイレクタングラー形式の映像がHDMIで出力されます。Micro HDMIではなくフルサイズのHDMIが刺さるので安心感があります。L字のHDMIアダプターを使えば、もっとスリムになります。
SHOGUNにHDMIで、4K30P入力して収録します。SHOGUNから再びHDMIで、4K30P出力します。※モニターの画面の色がおかしいのはPL(偏光)フィルターがカメラについたままだったのが原因か。実際の表示は正常です。安心してください。
VEGA-2002にHDMIで、4K30P入力して、LAN経由で映像を配信サーバーに送信します。
VEGA-2002の管理画面に入ります。配信はなるべく低遅延にしたいのでSRTを使って配信サーバーに送ます。サーバー側ではLow latency HLSに変換して受信することにします。配信サーバーの設定は省略します。
HLSベースであれば、無償で利用できる360°VRを視聴できるPlayerがいくつかあります。その一つがPotPlayerです。知る人ぞ知る謎のPlayerです。
HLSなど360°VRを視聴できるPotPlayer
https://potplayer.daum.net/
PotPlayerでHLSを受信できました。右側にあるエンコードから配信サーバーに映像を送り、左にあるパソコンで受信してモニターにエクイレクタングラーで表示しています。遅延は大体6～7秒ぐらいです。
VRボタンを押すことで、エクイレクタングラー形式をVRで視聴できます。VRモードで見ることで、360°方向を通常のカメラのように視聴できます。
次はプレイバックを試してみます。ショーグンでRECします。そして再生します。
再生するときにショーグンは、映像の出力が一旦停止します。HLSなどは、いったん停止後には自動的に動かないことが多くPlayerで再読み込みが必要です。これは困った問題です。。。
監督やディレクターへ、止まったら毎回再読み込みしてもらうのは厳しいでしょう。多くのお叱りを受けそうです。以下バッファーが-29949％となり、再接続されなくなった画面です。
再接続につよい？NDIベースで考えてみた
スイッチャーなどを入れて再生時も映像が途切れないようにすれば、解決できるでしょう。遅いし、切断に弱いので別の方法を考えてみます。切断に強めなNDIで映像を送ってみることにします。VEGA-2002の管理画面に入りNDI機能をオンにしました。
NDIについて
https://jouer.co.jp/?s=NDI
同じローカル内にあるパソコンで、NDI ToolsのStudio Monitorで受信します。
ローカルネットワークですが、1秒以下の遅延で360°エクイレクタングラー形式を見ることができました。右側にあるエンコードからNDIをネットワークに送り、左にあるパソコンで受信してモニターにエクイレクタングラーで表示しています。遅延は大体0.3秒ぐらいです。早い！
RECして再生するプレイバックも試します。
数秒程度の停止がありますが、再生プレイバックが始まるとすぐに映像が表示されます。さすがNDIです。1秒以下でプレイバックすることが出来ました。しかし・・・・
NDIで視聴できる360Playerがない？
しかしNDIを見るための360°Playerは、現状ではありません。さまざまなPlayerを試すもありませんでした。（※UnityでNDIを受信できる360°Playerを開発することはできます。作らないとないので、もしご要望があればお気軽にお問い合わせください。）
PotPlayerでひらめきました。開くから画面キャプチャを開くという機能があります。
この機能は画面の指定エリアをPotPlayerで表示するという謎の機能です。PotPlayerは360表示切替ができるので、NDIのエクイレクタングラーエリアをPotPlayerで読み込んで、VR表示することで対応します。解像度は低めです。
動画はこんな感じです。右がプレイバック映像をNDIで受信したもの、左はそれをキャプチャーしてVR表示にしたものです。モニターでVR視聴はできるのですが、HMDで視聴することはできません。
今回の記事では検証しませんが、NDI で映像が見れているので、ローカル内はネットワークの速度が許容する範囲で、複数のパソコンから同様に受信でき視聴できます。またNDI「Bridge」を設定すれば、離れた地点で同様にNDIを流すことができます。
NDI「Bridge」
https://www.ndi.tv/tools/bridge/
必要な場面でRECを回し、必要に応じてプレイバックを行い、1秒以下の遅延で各地にいる監督やディレクターや関係者が、撮影現場全体の360°映像をリアルタイムで視聴できるようになりました。HMDで見る方法は見つけられませんでした。NDIと別にSRTなどで配信サーバーへ映像を送り、HLSを受信できるHMD用アプリで視聴するなどもありますが、使いにくいでしょう。
もし予算のある撮影でしたら・・・リアルタイムプレビューシステム
もし予算が使える撮影でしたら、弊社のVRシネマ撮影＋リアルタイムプレビューシステムを使うことで、HMD視聴も実現できます。有線のHDMIやSDIやその他の方式でも映像を受信できます。さらにNDIも受信できます。NDIを受信して、無線でHMDと接続してみました。画面の左モニターにリアルタイムでVR視点のプレビューと、HMDによる視聴が可能になっています。
実際の動画がこんな感じです。工事など現場のプレビューシステムとしても使えますね。
1秒以下でカメラからの映像をVRプレビューとしてワイヤレスで視聴しています。エクイレクタングラー形式ではなくても、円周魚眼の映像をリアルタイムに変換してVR視聴もできます。1視聴台数に対して、1ライセンスのシステム費用がかかりますので、1つの視聴地点に１台のHMDを置いて、VRプレビューしたい人を限定にして共用しながら使うのがよいかもしれません。
VRシネマ撮影＋リアルタイムプレビューシステム
ジュエ株式会社では、REDシネマカメラ+広角レンズなどを利用したシネマクラスのVR撮影や、大型ドローンによるシネマクラスのVR撮影を提供しています。それら撮影と同時にリアルタイムステッチした映像を伝送し即座に視聴できる、より高度なVRビデオアシスト（Video Assist）やVRビデオボーイ（VIDEOBOY）、VRプレイバックオペレーター（Playback Operator）業務も提供しています。お気軽にお問い合わせください。
撮影事業のご案内
https://jouer.co.jp/shot/
