RED 8Kカメラに広角レンズを装着してFAROレーザースキャナーでスキャンした周辺環境の3D情報を利用して、VR360°においてのCG合成を検証してみます。前回はHDRI撮影を検証しました。360°のCG合成、パーチャルプロダクション等の背景やリフレクション素材の参考になれば幸いです。
前回：実用的かつ最高品質の360°パノラマIBL用HDRI撮影（16K）を検証
https://jouer.co.jp/16k-hdri-ibl-shot/
近年の映像制作業界において、LEDウォールの発展は目覚ましいものです。この技術は、バーチャルプロダクションの核となる要素であり、リフレクション用素材やCG背景、外部シーンの映像用CG合成に新しい製作体制が構築されています。LEDウォールの利用に最適な映像素材は、広視野角、広いダイナミックレンジを持ち優れた低光量性能で、高解像度と精細なディテール、カラーグレーディングの適切な調整が可能なデータであることが重要になります。
そのような用途に最適なシネマカメラとしてRED 8Kカメラがあります。フルサイズをちょっと超える大型センサーで、RAWフォーマットでの撮影ができます。柔軟なモジュラー設計により、さまざまなアクセサリーやレンズも設置できます。
RED 8KとFAROレーザースキャナーでテスト撮影
ハイライトとシャドーが混在する夕方頃に、RED 8Kカメラと広角レンズを組み合わせた高解像度及び広視野角なカメラシステムでテスト撮影しました。高精度な3Dスキャンが可能なFARO Focus Premium 350も利用します。
広角を組み合わせたことで複数方向を撮影して360°動画を構築します。レンズと設定の組み合わせで最終的な解像度を調整できます。
ジュエ株式会社では、高精度な3Dスキャンが可能なFARO Focus Laser Scannerや一億画素中判ミラーレスデジタルカメラGFX100を利用した高品質な撮影のほか、大型ドローンや8K120fpsシネマカメラRED V-RAPTOR 8K VVを組み合わせた提案もしております。
用途として、映画産業とエンターテインメント、自動車業界、仮想現実（VR）と拡張現実（AR）、広告業界、教育とトレーニング、歴史的保存などの活用が可能です。ご要望にあわせてさまざまにカスタムした機材と撮影サービスをお届けいたします。固定した撮影だけではなく、車両など動的な撮影も対応しております。お気軽にお問い合わせください。
平行してレーザースキャナーで5～6地点をスキャンしました。
RED 8Kカメラで撮影したデータはRAWで記録されます。RAWから必要とされるさまざまな形式に柔軟に変更できます。例えば映画やデジタル映像制作において使用される、カラーグレーディングおよびカラーマネジメントのための標準規格ACESに変換できます。バーチャルプロダクションやVFX合成に最適な素材として適しています。
こちらACESに変換したRED素材です。ハイライトまで情報があることが分かります。さすが広いダイナミックレンジをもつREDです。
シャドーのデータが残っております。つまり白飛び黒潰れしていないことが分かります。映像素材の利用に合わせて、明るさや色を調整できる素材です。CGではないので実写動画の範囲での調整となりますが柔軟なデータです。
今回はWebサイトで説明するにあたりSDR環境向けに709の色に変換します。Proresにて書き出します。
今回は8Kを超える約13Kで作成しました。重たいのでProresHQにて24フレームだけのサンプルをアップしました。※今回のデータは、色の調整を含むグレーディング、シャープ、ノイズリダクション等は行っておりません。ほとんど素のデータです。パキパキの映像ではないことを含めてご確認ください。
13Kステッチデータサンプル（ProresHQにて24フレームで709）
https://drive.google.com/file/d/10PLnBjC__msH4g33hNZ38jTEvpFrC9a9/view?usp=drive_link
FAROのレーザースキャナーは、1地点2～3分程度のスキャン精度でスキャンしています。この点群をつかって、ざっくり周辺の距離感と位置関係を知るためです。
例えば、この川の距離をツールで調べてみます。約150mであることが分かりました。従来のVR360°撮影では、映像から対象物との距離などを調べることはできません。点群データを同時にスキャンしておくことで、あとから対象物の距離を知ることができます。
CG合成を検証するため、点群をlasファイルにして書き出します。lasファイルに書き出すことでUE5（Unreal Engine 5）に取り込むことができます。UE5に取り込みました。
前回の記事で作成したHDRIも取り込んでみます。ほぼ同じ地点から撮影しています。
https://jouer.co.jp/16k-hdri-ibl-shot/
HDRIの画像と、レーザースキャンの点群データーの中心点を合わせて調整します。カメラも中心点に設置することで自然な360°素材の背景として利用できます。
画像に点群データを重ねました。中心点から見る限り実写の位置と点群データの位置が概ね同じになります。360°の映像と点群データを組み合わせることで、見えている物体に対しての3D空間内の距離を持たせることができました。
空間の3D情報が出来たので例えば飛行機を3D空間情報に基づいて合成してみます。
実際に取り込んでみると飛行機の大きさが分かります。先ほど川の距離を測ったところ約150mありました。飛行機はその半分ぐらいですので70m～80mぐらいあるようです。大きいですね。
ジャンボジェット機クラスの大きな飛行機が川の上を飛行するシーンを合成してみます。上空100mから橋の上を下降してくる設定にしました。
実写か合成か判断がつかないくらいリアルです。レーザースキャナーで実際の距離が分かるのでこのようなシュミレーションできるのは面白いことです。
仮で書き出した動画はこんな感じです。レンズは8mmと広角です。点群で距離を測りHDRIでライティングを行っているので見え方は自然ですが、書き出してみるとHDR風になっておりました。修正です。
グリフォンも設置してみます。
点群があるので、どこに設置するのか。どのくらいのサイズなのか。周りと干渉しないかなどが分かりやすいです。
360°動画に合成するとしても3D自由視点で配置場所を確認できるのは、大きなメリットです。
HDRIと点群データがあることで360°動画のCG合成が柔軟に進むことが分かりました。川に宇宙船も設置しました。
3DGモデルのレンダリングを行います。13Kや8Kでは時間がかかるので、6Kで処理をしました。VFXやCG合成は専門分野ではないためテストのための処理となります。より専門的に合成すれば、さらに素晴らしくなるでしょう。
単純なマスクを作成しました。
After EffectでRED 8Kのデータと合成します。
このように合成できました。さらに高い解像度、CGの確かな演出、REDとCG素材の色調整、音響、それぞれの物体の影、水面への映り込み、フォーカス、揺れや動きに伴うエフェクト、ノイズや霞やフォグなどを加えることで、より高品質に仕上がることでしょう。橋のマスクの切り抜きも甘いので、それらをふまえて完成を想像してご視聴ください。
