本日は、実物のエンジン部品を3つ撮影してCGデータ化して、VR動画用のエクイレクタングラー形式に変換する検証をします。検証により安全教育・工程シミュレーションに最適な撮影方法の一つであることが確認できました。
モデル：BMC A+のシリンダーヘッド、エンジンブロック、マニュアルミッションを3Dデータ化いたします。
例えば、実際のエンジンは鉄の塊です。小さいものでも数十キロの重さがあります。物理的に簡単に動かすことはできません。CGデータにすれば、安全に自由に動かすことができます。
重たいエンジンもCGにすれば自由自在の演出が可能（左－実写：右－CGデータ）
以上から物体をデータ化することで、工場の安全管理などの用途に適しています。VR内ではさまざまなプレビューが可能になります。
写真からCGデータを作るので実物的
Meta Quest 3、Quest 3s、Pico 4 Ultra などの最新のヘッドマウントディスプレイ（HMD）は、Mixed Reality（MR）に対応しています。MR空間を活用することで、実物の代わりに3Dデータを表示して現実さながらのトレーニング環境として利用もできます。
これらのデバイスは、カラーパススルー技術を用いて、内蔵カメラで取得した現実世界の映像をHMD内に表示します。その映像上にコンピュータグラフィックス（CG）を重ね合わせることで、ARのような体験を実現するMRアプリケーションの構築が可能です。以下のような応用が考えられます。
・地方自治体や観光向けプロモーション
名物を3D化しVRコンテンツで利用
・教育・啓発映像への補足演出
構造などを可視化して説明補足
・製造業・工場見学・企業研修
工場設備や装置をVR/MRアプリ上で習得
・災害訓練や安全教育：
電柱やビルが倒れてくるなど災害シナリオや危険を体験
ジュエ株式会社は、ドローン空撮やVR撮影などの特殊撮影を提供しています。実物をVR・MR・AR向けの3Dデータとして再現する撮影も可能です。企業のトレーニングや安全管理用途のコンテンツ制作にもご利用いただけます。どうぞお気軽にお問い合わせください。以下制作フローです。
その1：エンジンの撮影スキャンニング作業
照明など環境が整っているスタジオが理想ですが現実は厳しい。現場の環境に合わせて撮影が主です。照明がない倉庫で、エンジン部品を2000枚程度撮影しました。
3Dデータ化するためにエンジンを360°方向から撮影します。浮遊させて、撮影できればよいのですが、エンジンは重たく不可能です。床に設置して撮影しました。片面を撮影したら裏返ししてもう片面を撮影します。
次のエンジン部品でも同様の作業をつづけます。地道な作業です。
これらエンジン部品は、お互いに接続する部品です。後ほど3Dデータでそれぞれの接続を確認します。
その2：撮影したRAWデータ調整
撮影した大量のRAWを処理します。画質補正することで、倉庫の暗いデータも品質が向上します。かなり暗い映像です。
色調整、ノイズリダクション、高解像度で書き出しなど処理を行います。数千枚に及ぶため時間がかかります。地味な作業が続きます。データサイズも数倍になります。
その3：撮影した画像から3D形状取得
大量の撮影データをフォトグラメトリで分析します。写真が不足なく合致するか確認します。
半面ずつ撮影しているため、底面にある木の枠余計な部分をカットし整理します。1つのモデルでは底面が存在しません。
裏返して撮影した2つのモデルを統合して1つにします。2つのモデルを統合することで、360°方向から撮影したメッシュモデルができました。
場合によっては、4回撮影した4つのモデルから1つのモデルを作成することもあります。以下のエンジン部品は接合性が悪く4カットを1つに合成しました。画像の特徴量によってそのようなことが起きます。これは時間がかかりました。
その4：モデル修正＆調整＆リトポ作業
フォトグラメトリで生成されるメッシュモデルは巨大です。1/50～1/100程度の縮小する必要があります。穴が開いたり、細く曲がることもあります。これらを修正して滑らかで小さいモデルに仕上げます。
本来は真っすぐなネジですが、写真から得られたモデルでは、このようにひょろひょろに曲がります。
写真に写らない部分や光を反射する箇所では、穴がふさがったり、余計に穴があいたりします。
箇所によってはモデリングします。一つ一つ職人が手作業で修正します。
どこまで求めるかで、作業時間は大幅に変わります。おおよそ気になる部分は修正しました。
メッシュデータは、3角形や4角形で構築されています。この角形が多いほど詳細な形状を表現できますが、データ容量も大きくなります。平らな部分を平らにすることで、Lit（照明環境）など光による表現も品質が向上します。以下のボコボコなどを修正します。
凸凹を平らに、そして形状を保ちながら少ないメッシュに調整します。
その5：実写をメッシュに張り付けるテクスチャリング作業
撮影した画像をテクスチャとしても利用します。修正したメッシュにテクスチャを張り付けます。
フォトグラメトリで作成したテクスチャは、認識が難しい配置で生成されることが多いです。場合によってはUVマップを再編成します。画像の細かい部分の調整が安易になります。今回はこのまま進めます。
以上を繰り返し3つのエンジン部品モデルが完成しました。それぞれ細部をチェックして完了です。
その6：3つのモデルを再配置
それぞれ実寸比率で作成しました。3つのモデルを組み立てます。
3つのエンジン部品は、ぴたりと入りました。
ミリ程度の精度で作成しました。おおよそ正しい寸法です。噛み合うネジがネジ穴に位置に入っています。
エンジン構造もこのように見てすぐにわかるようになりました。
その7：ゲームエンジンに配置
UnityやUE5などのゲームエンジンにCGデータを配置します。UnityやUE5に取り込めるということは、そのままVRアプリやMRアプリとして利用できるということです。
例えば、ボルトを締める手順を示したり、識別番号などを読ませてから作業するなども設定できます。位置や手順が重要な場合は、アプリ上でトレーニングが可能です。
コントローラーで、エンジンをつかんで設置したり、より現実の作業に合わせてクレーンの操作をシュミレーションするのもよいでしょう。
一度3Dデータにすれば、全国各地からデータを参照したコンテンツを体験させることもできます。設備の場所を問わず利用できるのが利点です。
その8：VRエクイレクタングラー形式に変換
VR動画形式にデータを変換します。VRカメラが近づくと、エンジンが開いて内部構造が見える設定しました。1mぐらい先からエンジンに近づきます。
上のエンジンは回転して、下のエンジンはスライドするようにしました。設定次第で素晴らしいコンテンツになるでしょう。
エクイレクタングラー形式に変換します。レンダリング時間が長いため今回は4Kです。8Kでステレオバージョンも書き出しも可能です。
VR形式で書き出しました。目の前にエンジンが出てきます。
下を向くとエンジンが開きます。以上からVRで視聴できました。VR動画やアプリケーションに組み込むことで素晴らしいコンテンツを作成できることでしょう。
書き出したVR動画はこちら。※実際は上下が反転したものが正しい配置です。失礼しました。
本来の正しい配置は、シリンダーヘッド、エンジンブロック、マニュアルミッション です。モデル：BMC A+です。
ジュエ株式会社は、ドローン空撮やVR撮影などの特殊撮影を提供しています。実物をVR・MR・AR向けの3Dデータとして再現する撮影も可能です。企業のトレーニングや安全管理用途のコンテンツ制作にもご利用いただけます。どうぞお気軽にお問い合わせください。
モデルの画質はこのような感じです。もっと高画質化も可能です。
