ジュエ株式会社は、2018年からVOYSYS VRの正規代理店としてVRライブ配信ソフトウェアVoysys VR Producerを提供しています。現在（2023年）までに5年以上の提供実績があり、さまざまなVR配信プロジェクトに対応してきました。
Voysys VR Producerは、リアルタイムステッチ及びVRライブ配信（エンコーダ・出力）ソフトとして利用でき、放送品質を実現する多機能なVRライブ配信ソフトウェアです。
3D（立体・ステレオ）VR180/360度VR放送システムを構築できる「VOYSYS VR」について
https://jouer.co.jp/news/voysys-vr/
「Voysys VR Producer」は、サブスクリプションで最短1ヵ月単位のライセンス販売を行っています。価格は1ヵ月あたり298,000円（税抜き）です。定常的なVRライブ配信のほか、スポットのVRライブ配信、VR実証実験・PoC開発などにもご利用いただけます。
本記事ではCG背景、CGエフェクト、クロマキー合成などを利用した2023年最新の8K3DVR180°ライブ配信を検証してます。
ジュエ株式会社は、VOYSYS VRの正規代理店としてVoysys VR Producerの導入をサポートいたします。お気軽にお問い合わせください。
Voysys VR Producerは、8KVRライブ配信を自由できる
Voysys VR Producerは、自由にカメラとレンズを組み合わせ8Kの2D/3D・VR180/360°のVRライブ配信ができます。8KはVRライブ配信における明確なマイルストーンです。高画質な8KVRライブ配信システムとして利用できるほかに、自社製品ソリューションで独自のVR配信を行いたい大手通信事業者、大手カメラレンズメーカ、大手映像研究等のR＆Dセンターに最適です。
VRを利用した何かしらの実証実験、研究開発、PoC（Proof of Concept：概念実証）を実施するときに、カメラやレンズを自由に組み合わせて、リアルタイムステッチ及びVRライブ配信（エンコーダ・出力）ができるので、先行的な映像品質を求めたり、自社製品で構築したり、ステッチに関する細かいデーター検証が可能です。
2023年の今からリアルタイムステッチシステムを開発するより、完成された高速で動作するリアルタイムステッチとキャリブレーション機能をもつVoysys VR Producerを利用するほうが効率的です。Voysys VR Producerは、8KVRライブ配信を自由にします。
Voysys VR Producerは、カメラとレンズを組み合わせた自由なVRライブ配信が可能
CG背景、CGエフェクト、クロマキー合成など2023年最新の8K3DVR180°ライブ配信を設計してみましょう
2023年最新の3DVR180°ライブ配信を設計してみます。Voysys VR Producerの機能を組み合わせることで、自由に構築できます。解像度は当然8Kです。VR180の背景はリアルタイムでCG合成します。CGエフェクトもできるようにします。
8Kという高画質なVRライブ配信に加えて、CGの背景、リアルタイムCGエフェクトを組み合わせることで、2023年最新の新しい3DVRライブ配信が可能になるかもしれません。
Voysys VR Producerは、SDI出力、HDMI出力、USB接続、LAN経由（NDI、RTMP等）などの外部出力を持つカメラを接続できます。2023年のカメラで考えてみます。撮影用カメラでは、CANON EOS R5 C、LUMIX GH6 Panasonic、SONY α7R V、Z CAM E2、Nikonなど。8Kシネマカメラでは、SONY VENICE 2、RED V-RAPTOR 8K VVなど。8K放送や産業系クラスでは、アストロデザイン、IO Industries、アルゴなどさまざまな種類があります。用途やコンセプト、企業に合わせてこれらのカメラを自由に組み合わせことができます。
性能、用途、コンセプトに合わせてカメラを自由に組み合わせできる
3DVR180°ライブ配信の利用を考えた場合は、映像が同期もしくはカメラが同期（シンク）することが理想です。2台のカメラを並べて利用するためボディの形状にも注意です。産業系カメラは映像の品質としては、放送向けに適していないでしょう。そのように選別してゆくと利用されるカメラは限られます。
カメラ1台構成の場合は、CANON EOS R5 C + RF5.2mm F2.8 L DUAL FISHEYE構成や、RED V-RAPTOR 8K VV + RF5.2mm F2.8 L DUAL FISHEYEなどが利用できます。これらは8Kカメラ（収録）ですが、8K映像の「出力」にはさまざまな工夫が必要になります。通常で利用する場合には、4K出力になるでしょう。カメラ1台構成で済むのは理想的です。
RED V-RAPTOR 8K VV + RF5.2mm F2.8 L DUAL FISHEYE構成
カメラ2台構成の場合は、LUMIX GH6 PanasonicやSONY α7R VやZ CAM E2やその他カメラを2台工夫して並べて利用します。同期（シンク）することが望ましいですが、収録ではなくライブ映像出力であるため60pであれば気にならないかもしれません。カメラ設定が同期するという点では、Z CAM E2のネットワークケーブルによる同期はとても有効です。レンズ間のPD（瞳孔間距離）を気にしないならREDなど、より大きなカメラを利用できます。
レンズに関しては、VR180（180°までの映像）なので、水平180°の視野角があるレンズであれば成立します。カメラのセンサーサイズやマウント規格に合わせて、超広角魚眼レンズ Entaniya Fisheye、Canon EF8-15mm F4L（魚眼ズームレンズ）、180°以上のさまざまな国内海外魚眼レンズなどを組み合わせて利用できます。
メインVR180カメラとサブVR180カメラの特殊構成のカメラセット
今回は、デジタルホビーのVR撮影カメラセット（Z CAM E2×2）の構成にて、4K60P（HDMI出力）で映像をVoysys VR Producerに取り込みます。上下は多少クロップされますが横は4K近い映像が得られサイドバイサイド（4K+4K）で8K相当のVR映像として利用できます。※設定により組み合わせがあり本記事では説明を省略します。以下記事を参照ください。
デジタルホビーのVR撮影カメラセット（Z CAM E2×2）
https://digitalhobby360.jp/rental/z-cam-e2-190-rental/
https://digitalhobby360.jp/2021/8k3d180-how-to-shot/
入力設定を行いVoysys VR Producerに2台の魚眼カメラの映像を取り込みできました。
Voysys VR Producerに2台の魚眼カメラの映像を取り込み、円周魚眼で表示される
もしリアルタイムステッチシステムを開発する場合は、これら円周魚眼（フィッシュアイレンズ）の映像をエクイレクタングラー形式に変換する仕組みを考えるでしょう。そのためにはセンサーサイズとレンズ情報が必要になります。
またすべての製品に物理的なバラつき（ボディ、マウント、レンズに個体差）があるために、それらの影響を受けて映像となるイメージサークルが変化します。つまりセンサーサイズとレンズ情報だけでは、正確にはならず個別に調整が必要となります。
それらの機能の実装や、補正変換のためにエンコードやデコードが処理が実現できても4K60Pや8K60Pの処理となるとさまざまな問題（処理が落ちやドロップフレームなど）が発生し、ハードウェアで処理する仕組みや遅延時間を抑える仕組みなど多くの開発が必要になるでしょう。
Voysys VR Producerでは、2014年から先進的なリアルタイム360度VRライブプロダクションにおける映像ソリューション及び映像システムを開発を行っており、キャリブレーションボードを入れるだけで、これらすべての処理を実現できます。センサーやレンズ情報を不要で、個体差も補正できます。変換に伴う遅延もありません。しかも正確です。
キャリブレーションボードをかざし、50cmぐらいの距離でレンズの中央から上下左右を満遍なく取り込みます。
キャリブレーションボードをかざし円周魚眼を補正できる
キャリブレーションを実施することで、リアルタイムで円周魚眼（フィッシュアイレンズ）の映像をエクイレクタングラー形式に変換できました。※2台のカメラを同時に変換して表示しているため2重に見えています。
リアルタイムで円周魚眼（フィッシュアイレンズ）の映像をエクイレクタングラー形式に変換
VR180設定により、リアルタイムでVR180（サイドバイサイド）で表示できました。このまま配信設定を行えば8K60PのVR180のリアルタイムVRライブ配信が可能です。※画面のウォータマークはライセンスを有効にすることで消えます。
VR180のリアルタイムVRライブ配信が可能
ただの8K60P配信では、つまらないのでCGの背景素材を作ります。イメージは前方にVR180カメラ映像を表示して、ソファーに座ってVR180の映像を視聴する舞台を作ります。
外につながるソファーがある富豪のオープンハウスです。
クロマキー合成やマットキー合成が利用できます。CG素材をどのように渡すか、再生するかにより、さまざまな方法があります。今回はクロマキー合成で、背景をグリーンにしました。
外側の外観をグリーンに差し替え
人も配置して賑やかに。。。謎の親子、謎の双子、謎の軽薄な男がいて、安いホラー映画のようになりました。
解決のヒントは、きっと子供がにぎっているのでしょう。
実際のカメラの目間や高さを合わせます。座った高さとして目高を120cmにしました。PDはカメラと同じ80mmに設定しました。
グリーンのキューブと人でサイズを調整
CGをエクイレクタングラー形式の動画として書き出し、Voysys VR Producerに取り込みます。グリーンバック合成を実施します。
エクイレクタングラー形式で出力したグリーン入りのCG背景
合成部分が小さすぎたことや、CGとカメラの遠近感を調整していないので、妙な合成ですがCG背景とVR180動画のリアルタイム合成ができました。外につながる下側の砂利は不要だったなと思いながら。。。。
CG背景とVR180動画のリアルタイム合成
背景も合成できたので、360°フォーマットに変更してトップ＆ボトム形式で出力します。8K立体視3DのCG合成済みのリアルタイムライブ配信が可能です。※画面のウォータマークはライセンスを有効にすることで消えます。
360°フォーマットに変更してトップボトム形式で出力
配信する映像をHMDで視聴してみましょう。リアルタイムで合成された映像を3D立体視で見ることができます。実写とCGを正確に計算してカメラ配置を行えば、リアルなVRライブ配信が可能になります。
エフェクトを作って合成します。ありがちな炎です。今回は単純に2Dで作成しました。エフェクトもVR形式でエクイレクタングラーで制作すれば、360°全体に特殊エフェクトをかけることもできます。立体視で作ればエフェクトも立体になります。演者の歌に合わせて、画面全体に光や稲妻を走らせることだって可能です。
ありがちな炎、360°3Dエクイレクタングラー形式で作れば、すごいエフェクトも作れる
エフェクトの表示をキーボードや外部ボタンに割り当てることもできます。タイミングに合わせて特殊効果として利用もできます。複数エフェクトも適用できます。
手が炎上
空いているスペースに補助的に2Dカメラ映像を配置したり、動画を流したり、SNSの画面を表示するなどPIP機能も利用できます。退屈になりがちなVR映像のスパイスとして有効です。
2Dカメラ映像をPIPで表示
映像の出力もさまざまな形式が選択できます。SI（SDI×4本）で8K出力を行うことも可能です。
さまざまなエンコードやプリセット、解像度やfpsを選択できます。ビットレートなども細かく調整できます。
NDIでリアルタイムステッチした映像を送り、スイッチャーなどを経由して8K配信を行うこともできます。複数同時に同様のライブ配信も可能です。
Voysys VR Producerは、放送システムと組み合わせ利用できる柔軟性を持ちます。出力方式、変換方式、解像度、fps、リソース、性能により利用できる組み合わせが存在します。今回の構成による検証では、8Kの背景素材を動かしているため、出力は8K40fpsが上限でした。
背景CGの解像度を調整したり、入力の制限や、よりハイエンドなワークステーションを利用することで、これらの上限は変わってきます。事前に組み合わせの検証が重要です。
8Kで同様のVRライブ配信を実施するには、入念なリソースの管理が必要です。従来通り4KVRライブ配信であれば、柔軟にCG合成素材を組み合わせることができるでしょう。
Voysys VR Producerを導入することで、自社カメラシステムを任意の組み合わせで利用することができます。CG背景、CGエフェクト、PIPなどを組み合わせることで、従来では実現できなかった魅力的な3DVR180ライブ配信を実現できるでしょう。
ジュエ株式会社は、VOYSYS VRの正規代理店としてVoysys VR Producerの導入をサポートいたします。お気軽にお問い合わせください。
