ジュエ株式会社のVR専用カメラバイシクルは、新しい車両の背景素材作成手法として360°撮影、フォトグラメトリ、NeRFを活用します。車を走らせながらVRカメラで撮影することで、あとから自由に背景素材を選び出すことが可能です。バーチャルスタジオやバーチャルプロダクション用の背景素材として利用できます。
今回は、どのようにして車両の背景素材を360°撮影、フォトグラメトリ、NeRFで作成するかについて解説します。360°撮影、フォトグラメトリ、NeRFのそれぞれの手法を用いて背景素材を作成し、それぞれのメリットとデメリットを比較しました。ジュエ株式会社では、これらの技術を活用したVR撮影も承っております。
前回の記事では、VR専用カメラバイシクルの開発とその活用、360°撮影、フォトグラメトリ、NeRFを用いた3Dデータ活用の検証について詳しく紹介しました。詳細は以下のリンクからご覧ください。
https://jouer.co.jp/vr-camera-bicycle-utilizing-photogrammetry-nerf/
360°撮影とは
360°撮影は、全方向をカバーする複数の画像または動画を合成（ステッチ）することで、360°つまり完全な周囲全体をカバーする映像を作り出すことができます。360°撮影の利点は、視聴者が自由に視点を操作してシーン全体を見ることができるという点にあります。
これは特にVR（仮想現実）のコンテンツで重宝され、ユーザーがヘッドセットを通してシーンを自然に探索できます。しかしながら、撮影位置からの物理的な移動は不可能で、また、撮影したフレームレートやシャッタースピードなどのカメラ設定は変更できません。
フォトグラメトリとは
フォトグラメトリ（Photogrammetry）は、複数の画像から計測技術によりの3D情報を作成する技術です。フォトグラメトリは、現実世界のオブジェクトをデジタル化するための効果的な手段であり、建築、考古学、映画製作、ゲーム開発、警察（事故現場の再現など）など、様々な分野で活用されています。
フォトグラメトリの利点は、高度に精密な3Dモデルを生成できるため、さまざまな利用が可能です。しかしながら、一部の複雑な物体を正確に再現するのが難しい場合があり、また処理に時間がかかることが挙げられます。
NeRFとは
NeRF（Neural Radiance Fields）は、複数の画像から深層学習（ディープラーニング）を利用した新しい手法で、3D空間の各点に対応する色と透明度をモデル化します。フォトグラメトリ等の従来方法では難しかった、複雑な光学現象（たとえば、反射や屈折など）を含むシーンの再現で評価されています。
まだ発展中の技術であり、実用が難しい課題も多くありますが、新しい3Dモデリング方法や、VRやゲーム、映画製作などの分野で非常に大きな可能性を持つと考えられています。
PR：レーザースキャン・フォトグラメトリ・VR撮影について
https://jouer.co.jp/distinations/photogra-nerf-vr-shooting/
簡易的なCG空間内に車両と人、グリーンを配置
まずは、簡易的なCG空間内に車両と人、グリーンを配置し、それぞれのテクニックを試みます。合成テストとして、簡易的なCG空間内に車両と人とグリーンを用意しました。
カメラの設定は、センサーサイズは40.96×21.60ｍｍ、35mmでF2.8です。fpsは24です。カメラは運転席に配置して、横から撮影します。スタジオの車内撮影の再現をしました。
360°撮影素材を合成
最初に紹介するのは、360°撮影を用いた背景素材作成です。VR専用カメラバイシクルは、広視野角レンズを採用しており、1つのレンズで180°以上の映像を撮ることが可能です。この360°撮影技術により、撮影後に自由に背景素材を取り出すことができます。
これらの映像をVR形式（エクイレクタングラー）に変換します。
VR形式に変換すれば、あとから自由な方向と視野角で2Dカメラの映像として書き出すことができます。揺れを取り除く処理も入れます。
この仕組みを利用することで、360°動画から自由な方向の背景素材を取り出すことが可能です。先ほどのグリーンバックの素材と合成しました。
もう少し背景をボカします。グレーディングなど、色や音、揺れなどを演出すれば、実用的な品質になるでしょう。
一連の作業の流れはこんな感じです。
360°撮影素材の合成動画は、こちらから確認できます。
360°撮影のメリットとデメリット
メリット：360°撮影の素材は信頼性があり、安定した品質を提供します。撮影方向は自由に設定でき、ブラーを外せば、はっきりとした背景を提示することが可能です。これは、特定のシーンで背景に焦点を当てたい場合に特に有利です。
デメリット：一方で、撮影した位置やカメラからの距離など、物理的な移動は制限されます。また、フレームレートやシャッタースピードは撮影時の設定に依存します。根本的に別どりした映像であることから、別の映像と合成する際に、合成箇所で違和感が生じる可能性があります。
次はフォトグラメトリ素材を合成
次に、フォトグラメトリを用いた背景素材作成について解説します。VR専用カメラバイシクルの映像を用いてフォトグラメトリを行い、3Dデータを生成します。「たった10秒間で撮影したフォトグラメトリであるという点がポイントです」（※一般的なフォトグラメトリは、通常は1カ所で短くても数時間、場合によっては数日ぐらいしっかりと撮影するものです。品質を出すためにレーザースキャンなども併用します。）
分析にある程度の時間が必要です。
フォトグラメトリの特性として、透明やガラスや反射などは3D化することが難しく、3Dデータは欠けたものになります。例えば車などは窓ガラスが3Dになりません。ほかにも制約があります。
背景素材として利用なら、違和感がない程度の修正を加えます。車や窓などをささっと修正しました。専門的なVFXチームがいれば、より完全な3Dデータになるでしょう。
フォトグラメトリで作成した3DデータをCG空間内に取り込み設置します。実際の車両と背景の位置を後から自由に決められるのは、大きな特徴です。
カメラやアニメーションなど最小の設定をします。ライティング、カラー、フォグ、自然な揺れなど加えるとよりリアルになるでしょう。移動しているシーンであれば、ブラーがかかり細部が気にならないので実用的な品質として利用できます。止まっているシーンや背景をしっかり見せたい場合は、もっと多くの後処理が必要になります。
別のシーンですが作業の流れはこんな感じです。
フォトグラメトリ素材の合成動画はこちらから確認できます。
フォトグラメトリのメリットとディメリット
メリット：フォトグラメトリは3Dデータを生成するため、映像の位置関係を自由に調整できます。実際の位置関係を再現することで、より現実感のある映像を提供します。さらに、移動速度やカメラの設定など、すべてを後から変更することが可能です。これにより、自由度が高く、自然な仕上がりを追求することができます。また、同一の3Dデータを異なるライティング設定で再利用することで、昼夜のシーンを自由に表現できます。
デメリット：しかし、フォトグラメトリは処理に時間を要し、すべての物体が簡単に3Dデータに変換できるわけではありません。多くの場合、後処理による3Dデータの修正が必要となります。これは特に、背景の詳細をしっかりと表示したい場合には、多くの修正作業を必要とします。
NeRF素材を合成
最後に、NeRF(Neural Radiance Fields)を用いた背景素材の作成方法について紹介します。NeRFは、一連の画像から3Dシーンを再構築する深層学習アルゴリズムです。VR専用カメラバイシクルの映像からNeRFを利用し詳細な3Dデータを抽出します。
CG空間に3Dデータとして取り込むこともできますが、今回は動画として書き出したNeRFeを背景素材として利用します。NeRFは技術の変化が大きく、数カ月後には大きく状況が変わるため途中の処理は省略します。これらはLuma AIによる生成されたNeRFを利用しています。
NeRFのメリットとディメリット
メリット：NeRF (Neural Radiance Fields)の素材は、動揺しているカメラ映像でも、一旦3Dデータに変換されるため、揺れがなくなります。視点の微調整も可能です。
デメリット：NeRFの解像度と画質はまだ理想的なレベルに達していません。この点は技術が進化することで改善されるでしょう。
360°撮影、フォトグラメトリ、NeRF撮影
これら360°撮影、フォトグラメトリ、NeRFの3つの手法を組み合わせて使用することにより、より高品質でリアリティのある背景素材を作成することが可能になります。
バーチャルスタジオやバーチャルプロダクション用の背景素材として利用できます。VR技術を用いた車両等の背景素材の撮影についてのご質問やご要望がございましたら、お気軽にお問い合わせください。
ジュエ株式会社のVR専用カメラバイシクルを利用すれば、ワンショットで360°撮影、フォトグラメトリ、NeRFをすべてフォローできます。
