この記事では、写真だけのフォトグラメトリと、レーザースキャナーを併用したフォトグラメトリの品質を比較します。レーザースキャナーを追加することで品質がどの程度向上するのか検証します。フォトグラメトリの基本的な手順や問題点についても説明します。
記事の後半部分では、フォトグラメトリによって生成された3Dデータの後処理について説明します。以下の画像は、テクスチャーの修正と夕方のライティングを加え、さらにCGの自転車を追加したものです。
ジュエ株式会社では、フォトグラメトリ、NeRF、VR撮影向けの撮影サービスを提供しています。高画質カメラやレーザースキャナー、フォトグラメトリ専用のカメラマンや機材の手配など、お気軽にご相談ください。
PR：レーザースキャン・フォトグラメトリ・VR撮影について
https://jouer.co.jp/distinations/photogra-nerf-vr-shooting/
フォトグラメトリができる主なソフトウェア一覧
さまざまな企業からフォトグラメトリ用のソフトウェアが提供されています。その中から、自身の用途に合わせた最適なソフトウェアを選びましょう。
Agisoft Photoscan
https://www.agisoft.com/
3DF Zephyr
https://www.3dflow.net/3df-zephyr-photogrammetry-software/
Regard3D
https://www.regard3d.org/
Pix4Dmapper
https://www.pix4d.com/product/pix4dmapper-photogrammetry-software
Meshroom
https://alicevision.org/
PhotoModeler
https://www.photomodeler.com/
RealityCapture
https://www.capturingreality.com/
AutodeskReCap
https://www.autodesk.com/products/recap/overview?term=1-YEAR
主なレーザースキャナー
レーザースキャナーは空間内の物体や構造から反射したレーザービームの距離を測定します。これをフォトグラメトリに組み合わせることで、写真だけを使用した場合よりも高精細な3Dデータを生成できます。ただし、レーザースキャナーだけでは、テクスチャーはあまり美しくなりません。フォトグラメトリで使われるレーザースキャナーのメーカーは、LeicaやFAROなどが有名です。
Leica Geosystems
https://leica-geosystems.com/
Trimble
https://www.nikon-trimble.co.jp/
Topcon
https://www.topcon.co.jp/positioning/topcon/products/product/3dscanner/
Velodyne Lidar
https://velodynelidar.com/
Teledyne Optech
https://www.teledyneoptech.com/
velodynelidar
https://velodynelidar.com/
フォトグラメトリの作業手順
フフォトグラメトリは、古くから存在する写真測量技術を利用し、複数の写真から3Dデータを生成するプロセスです。この技術は、測量目的だけでなく写真測量から点群データ生成、メッシュ化、そしてテクスチャー貼り付けまでを行うことでとてもリアルな3Dデータを生み出します。
複雑な物体や大規模なプロジェクトをゼロからモデリングするよりも、リアルかつ効率的に生成できるため、フォトグラメトリは注目を集めています。
フォトグラメトリの問題点
フォトグラメトリのサンプルやチュートリアルは、木や石で作られた像など多いです。実はフォトグラメトリのみで綺麗に作れるのは、それぐらいだからです。フォトグラメトリの事例として神社が多い理由もそのためです。
具体的に、以下の物体のフォトグラメトリは困難です。これらは、ゼロからモデリングした方が簡単かもしれません。
・つやつやした単色の新車
・単色の平坦な壁
・黒光りした物
・透明な物
・細い物
・動いている物
現実的には、これらが混在したケースが多いです。レーザースキャナーを用いることで、これらの問題点がどの程度改善するのかを検証します。以下写真は、テスト撮影に利用した壁の一部ですが、つやつや、透明、細いものなど様々な要素が含まれています。
静止画カメラとレーザースキャナーによるテスト撮影
スマートフォンでもフォトグラメトリは可能ですが、RAWデータを取得できる一眼レフカメラを使用します。RAWデータが重要な理由は、撮影後に画像の明部や暗部を修正できるからです。
伴いフォトグラメトリに精通したカメラマンの存在が重要です。絞り、ISO感度、シャッタースピード、フォーカスなどが質の良い3Dモデルの生成において重要な要素になります。
例えば、ビルの影など部分的に暗く、暗部が黒くつぶれてしまうと適切な分析できません。
RAWデータであれば、撮影後でも明るさを調整することが可能です。暗い部分もはっきりと見えます。
今度は逆に明るく色が飛んでいる部分があります。
RAWデータであれば、後から明るさなどの調整が可能です。
今回の検証では、199枚の写真を撮影しました。今回は検証のため、あえて枚数を少なめにしています。実際のプロジェクトでは数千枚から数万枚の写真が必要になることもあります。
フォトグラメトリの仕組みは写真を分析して、類似点を見つけて計測します。写真を分析しますから手振れやボケはNGです。画質が低下しない範囲で、レンズを絞りシャッタースピードを上げます。手振れをしないシャッター速度は、1/250は欲しいところです。昼間なら問題ないでしょう。室内や暗いところでは、三脚等や操作リモコンなど必要です。
今回の撮影では、50％以上のオーバーラップ（重なり）を意識し、その結果、199枚中194枚がリンクしました。点群データはすでに形状がはっきりとわかるので、これは良好なデータと言えます。
次に、Leica RTC360のレーザースキャナーを加えてみます。レーザースキャナーのスキャン地点は画像中の丸い部分で、今回は3箇所でスキャンしました。先程より点群が増えています。
レーザースキャナーは広範囲にわたり、道路向こう側のビルまで到達します。これにより、広範囲の点群データを一度に得ることができます。今回の検証では、手前のビルのみを対象とします。
点群データの位置やメッシュ化するエリアを調整した後、次のステップに進みます。
メッシュ素材を比較
写真のみと、レーザースキャンも加えたメッシュを比較してみます。遠くからの外見は、どちらも同じ程度の品質に見えます。左が写真のみ、右が写真＋レーザースキャンです。
ガラス面は、どちらもスキャンできません。模様があるタイルやシャッターやカゴなども同じ程度の品質です。電源盤は、レーザースキャンのほうが滑らかな結果です。
実際の写真はこちらです。模様や形（特長）があるものは、レーザースキャンが無くても上手くメッシュ化できていることがわかります。
白いBOX（電源盤）などは、レーザスキャンが有効です。真っ白で特長がないため写真だけのフォトグラでは表面がボコボコ気味です。
同様に特長がない平な単色面でも、レーザースキャンがとても有効です。
平らな茶色い部分や白い部分が、写真のみではボコボコしているのに対して、レーザースキャンではとてもきれいに整っています。
自転車などは細かい形状も比べてみます。細かいものに対しても、あまり効果が出ていません。これら自転車はレーザースキャナーから離れた距離にありました。もっと近くでスキャンしておけば、結果が違ったかもしれません。
木の植え込みは、かなり近くでスキャンしています。レーザースキャナーのほうが精細です。
静止画カメラの場合は、人いないタイミングを撮影できますが、レーザースキャナーは動き出してしまったら完了まで停止できません。人通ったりするとこのように映り込みます。
以上からレーザースキャナーを併用することで、フォトグラメトリでは苦手な特徴のない平らな部分は、上手くスキャンできることがわかりました。しかしレーザースキャナを使えば、すべて解決するわけではありません。透明なガラス面などは残らず、別の映り込みの要素も出てきます。
カラーテクスチャーをつけて比較
テクスチャーをつけるとメッシュの粗さは、見えにくくなります。CG空間でライティングを入れたときに、影の見え方に品質の差が出てきます。メッシュは綺麗なほど素晴らしいです。
撮影時に風で垂れ幕が揺れていました。いろいろな関係で、垂れ幕はレーザースキャナーのほうが品質が悪くなっています。もっとも揺れているときにスキャンされたからです。
写真のみでは、電柱の線が少し曲がっていますが、レーザースキャンを加えたほうは線がまっすくです。
レーザースキャン時に人が通過したため、ゴーストのような部分が残っています。
以上からレーザースキャナーを併用することで、特長の無い部分の品質は向上しますが、必ずしも万能ではなく余計なデータが発生することもあります。レーザースキャナーを使用したとしても、その後の後処理が必要になります。
フォトグラメトリのデータを整えてみよう！
3Dデータが大きく扱いにくいので、2分割して片側を処理します。メッシュだけで見ると多くの部分が気になります。
修正の方針として、撮影を行っていない上部や左右部分は、ばっさりとカットすることにします。
ガラスや窓の穴などは、埋めて修正します。
自転車は形になっていないので削除します。あとからCG素材等で追加します。
電柱もついでに削除しましょう。
正面から見たデータです。処理しやすいようにスカルプトです。
不要な部分をカットします。
自転車など横から見るとまだらなデータです。削除します。
自転車と電柱を削除してスッキリしました。
穴や隙間も埋めます。
壁、まど、看板、植木、柱などなど次から次へと修正したくなります。もっと細かく修正できますが、おおむね整いましたのでこれで良しとします。
修正したメッシュにテクスチャーを貼ります。穴もふさがり自転車もなくなりました。
テクスチャーを見ると、垂れ幕が気になります。修正します。
看板も削除したので、画像が壁側に移りました。修正します。
垂れ幕がきれいになり、看板の映り込みもなくなりました。
3Dデータとして完成した素材は、テクスチャと一緒にobjやfbxで書き出します。書き出しはさまざまな形式に対応しています。
CG素材を加えてライティング追加
フォトグラメトリから3Dデータが出来ました。ライティングを変えれば、朝や夜に変更できます。自転車や電柱などは、CG素材から追加しました。
植木の設置位置が少し間違えました。。。もう少し下げると元の植木が隠れます。
ジュエ株式会社では、フォトグラメトリ・NeRF・VR撮影向けの撮影を提供しています。フォトグラメトリ専用のカメラマンや機材、撮影後の後処理が必要な場合は、お気軽にお問い合わせください。撮影した当時の状態を保存しておけば、あとから取り出し利用することができます。実は、今回の写真は2年ぐらい前（2021年ぐらい）のものです。
セブンイレブンが映っていますが、現在その店舗は移転しました。また昔はよく見かけたお得なペイペイのイベントも、最近では減少しています。フォトグラメトリを利用することで、過去の状況を3Dデータとして保存し、仮想空間上で再現することが可能です。この技術にご興味がある方は、お気軽にお問い合わせください。
