ジュエ株式会社はVR専用カメラカーの開発に向けて、プロトモデルとなるVR専用カメラ自転車(もしくはVR専用カメラバイシクル)を製作しています。映画やバーチャルプロダクション向けの撮影システムであり、同期した複数台カメラを車両等に設置することで、撮影後に任意の360°方向の高画質な映像を取り出すことが可能です。
PR:レーザースキャン・フォトグラメトリ・VR撮影について
https://jouer.co.jp/distinations/photogra-nerf-vr-shooting/
また複数台カメラ及びそれらの視差を利用することで、フォトグラメトリ(Photogrammetry)やNeRF(Neural Radiance Fields)による3Dデータ化もできます。車両で一気に撮影を行い後から360°方向の映像、任意方向の2D映像、3Dデータの利用を可能にするシステムです。
弊社オリジナルのVR専用カメラバイサイクルは、さまざまなカメラを取り付けできるように設計しています。単管なども増設できます。重量のあるカメラやスタビライザーなどの機材を設置できるように強固なフレームを実現するためクロモリ(クロモリブデン鋼)を使っています。電動アシストも採用しています。
今回のテストでは、同期した4Kカメラ8台を設置しました。これらのカメラは遠隔制御も可能です。重量に耐えられる機械式スタビライザーもしくは電動式スタビライザーも重要なポイントです。
8台のカメラはフレームが同期します。1台のカメラのRECを回すことで、残りの7台のカメラも同時に録画が開始されます。カメラを車両目線の高さにすることで、車内からみた車外の映像素材として利用ができます。
以下のようにフレーム単位で同期した8台のカメラ映像が撮影できます。視野角190°×155°あり、45°ずつ配置することで、隣り合うカメラ映像カバー率が50%以上あります。360°必要な映像をしっかりと記録します。
これらの円周魚眼(フィッシュアイレンズ)の映像を、VR形式(エクイレクタングラー)に変換することで、後から必要な映像を書き出せます。画角も自由に調整できます。上記の映像から横向きの映像を取り出したものです。揺れなども取り除いています。
複数の映像素材があることで、3D化としても利用できます。一部をNeRF(Neural Radiance Fields)で出力しました。NeRFにする単純なメリットは、揺れや速度などを自由に後から調整できることです。NeRF自体に実用性としての課題がありますが、NeRF用の素材としても機能することがわかりました。これらはLuma AIによる生成されたNeRFを利用しています。
VR専用カメラバイシクルは、自由にカメラを交換して、好きな場所に設置できることが魅力です。カメラユニットを乗せ換せフォトグラメトリによる3Dデータとしての活用を検証します。
今回テストでは3台(縦3台)ですが、完成版では18台になる予定です。
10秒ぐらいで通り過ぎた路上をフォトグラメトリ化しました。ちなみにカメラユニットは、2TBのストレージを利用できます。H265モードで収録すれば、17時間ぐらい撮影できます。
後処理の必要はありますが、3台構成のテストとしては、とてもよい3Dデータを得ることができました。18台に増やし慣性測定装置(Inertial Measurement Unit)やLIDAR(Light Detection and Ranging)も搭載することで実用レベルになることが期待できます。
ジュエ株式会社は、VR撮影に利用できる各種機材に加えて、フォトグラメトリやNeRF用の撮影等も行っております。お気軽にお問い合わせください。VR専用カメラバイシクルを使ったVR撮影も歓迎です。
その2
車両の背景素材として利用する 360°撮影、フォトグラメトリ、NeRFの合成比較テスト
https://jouer.co.jp/360-vs-photogrammetry-vs-nerf/