本記事では、初めに小型360度VRカメラシステム「Z CAM S1」で撮影したメーカーのサンプル映像・テストフッテージを紹介します。最後にオプティカルフローの最適な利用について考えます。「Z CAM S1」の使い方について、2分程度の動画にまとめました。こちらを見て頂ければ、使い方が分かります。
さくっと鮮やかな360度映像
「Z CAM S1」を使えば撮影環境が適切なら、シャープな画質で鮮やかな360度動画を長時間録画できます。「Z CAM S1」で撮影して6K360度で書き出し編集した映像はこちらです。5秒と短いので静止して全体を確認ください。
ワンタッチで4Kリアルタイムステッチ＆ライブストリーミング配信
複雑なライブストリーミング配信も「Z CAM S1」なら意外と簡単です。無料の付属ソフト「Z CAM WonderLive」で、配信メディアとビットレートを指定して、Liveボタンを押せば配信がスタートします。※特定のグラフィクスカードを搭載したステッチングユニットが必要です。
多様な利用が可能なギガビットイーサーネット（オープンAPI提供）
LAN経由で「Z CAM S1」をデータダウンロード・カメラ操作・各種設定変更できます。ギガビットイーサーネットのAPIは公開されています。多様な利用方法が可能です。例えば複数の「Z CAM S1」を、構築した独自のライブ配信ユニットにLAN接続し、スイッチ機能を搭載することで、360度ライブストリーミング配信中にカメラをスイッチするシステムなど実現できます。実は弊社で準備を進めています。
オプティカルフロー対応の付属ソフト「Z CAM WonderStitch」
「Z CAM S1」にはステッチソフト「Z CAM WonderStitch」が付属します。新しいステッチ技術オプティカルフローに対応したステッチングソフトです。「Z CAM WonderStitch」は、2Kまでのステッチ書き出しなら無料で行えます。4K以上の解像度は有料版が必要です。
オプティカルフローとは、映像の動きを分析してフレームとフレームの間に中間的な補間フレームを生成して動きを滑らかにする技術です。複数枚の動画を合成する360度動画のステッチ（貼り合わせ）に利用することで、視差によりステッチのズレが発生した部分の映像も、中間的な映像を作り出し繋げる新しいステッチ技術です。どのようにすれば有効に使えるのか検討してゆきたいと思います。
「Z CAM WonderStitch」におけるオプティカルフローは、視差の影響が少ない広い場所では効果が少なく、逆に悪影響を及ぼすことがあります。撮影対象が数メートルの距離で、効果を発揮する傾向が見られます。1m未満の狭い場所においても、効果より悪影響が強くなる傾向を感じます。状況によってオプティカルフローを使用しない、もしくは少ない方が良好な結果が得られる場合あり、実際の撮影を踏まえながら紹介してゆきます。
360度カメラ「Z CAM S1」の製品仕様はこちらをご確認ください。
https://jouer.co.jp/news/zcams1/
まずはメーカーの360度サンプル映像・テストフッテージをチェック
メーカーのサンプル映像・テストフッテージを紹介します。オプティカルフローの適用を中心に説明してゆきます。メーカーのサンプル映像は、再生環境に合わせて4Kに下げている映像です。元は6Kあります。
こちらは、車内の狭い映像です。360度撮影を経験されている方は、この狭さでステッチがしっかり繋がっていることに驚くはずです。このステッチには、オプティカルフローが使われています。後ろのポールに注目してください。グニュッと湾曲していることが分かります。
ぐいっと繋げてしまうオプティカルフローの効果
繋がらない映像の中間映像を作り出し、無理やり繋いでしまうのがオプティカルフローの利点でもあり欠点でもあります。 シーンによっては、繋がっていなけど、歪んでいないほうが良い場合もあります。 また中間映像を作り出し繋ぐため迷ってブルブルと揺れる現象も発生することもあります。
映っている方がZ CAMのCEO Kinson Loo（キンソン・ルー氏）です。実はすごい方で、日本でも有名な企業の経歴で紹介いたしますと、Sony Ericsson Mobile Communications（China）のVice Presidentや HTCのGeneral Managerなどを務めていた方です。プロダクトやモバイル、ワイヤレス に関連するスペシャリストです。
Facebook 「Live 360 Getting Started Guide April 2017」をチェックすると、「Z CAM S1」はFacebookのLive 360互換性カメラとして紹介されています。「Z CAM」はFacebookなど大きなプラットフォームとの取り組みも行っています。海外では高い知名度を持っているのも特徴です。実績と実力がある360度カメラ企業です。
https://fb360video.files.wordpress.com/2017/03/live-360-getting-started-guide.pdf
「Z CAM S1」タイムズ・スクエア360度動画（サンプルフッテージ）
次は「Z CAM S1」で撮影したアメリカ、ミッドタウンにある繁華街 、タイムズ・スクエア（Times Square）の映像です。ブロードウェイショーのビルボードが印象的です。このぐらいの距離がありますと、まったくステッチ（貼り付け）部分が分かりません。
タイムズ・スクエアの映像をよく見てゆくと、40秒当たりの観光案内人にステッチのズレが見えてきます。まっすぐステッチがズレているので、オプティカルフローを使わず、もしくは弱めでステッチを行ったものだと推測できます。オプティカルフローを使わないほうが良い場合もあります。後で詳しく説明します。
「Z CAM S1」食事の360度動画（サンプルフッテージ）
食事をしている360度映像です。真上のパラソルの骨組みもしっかり繋がっています。真上にある線状の物はステッチでズレやすく、繋がっていることに驚きを感じます。ステッチも綺麗であり色調も均一です。赤が表現されています。この映像は、これだけカラーが優れているのに、実はポスト処理（ステッチの後の後処理）無しの映像です。
撮影してステッチしたままの映像とのことです。カメラごとしっかりと調整されているため、このような出来上がった映像として利用できます。ポスト処理無しで使えるので作業の大幅な短縮が可能かもしれません。もちろん最適な環境で撮影した場合に限られます。
「Z CAM S1」カメラユニット仕様紹介
メーカーサンプル映像を紹介したので、次は「Z CAM S1」の仕様を紹介いたします。「Z CAM S1」は、カメラユニットサイズ約92×92×142mmという小型が特徴です。隣り合うレンズとレンズの距離は6センチ程度です。たった6cmしかありません。視差が小さいのが魅力です。狭い空間でもつながります。カメラのネジ穴が上下にある点も特徴です。
小型ながら、
・6K30fps～4K60fpsの全天球360度動画、
・ライブストリーミング配信（全天球360度4Kリアルタイムステッチ）
に対応しています。
8Kが欲しい・・・と思われるかもしれませんが、2017年時点では、なかなか8K（約8000×4000ピクセルのサイズ）の使い道がなく、6K程度の撮影ができれば現実的に足りている認識です。5G（第5世代移動通信システム）の10Gbpsを超える通信速度が普及して、スマートフォンでも8Kの再生ができる環境が揃うまでは、6K～4Kまでが実用的な解像度になるのではないでしょうか。つまり6K30fps～4K60fpsの全天球360度動画はちょうど良いサイズです。
他にはLAN・HDMI出力やSDカード対応、脱着式バッテリー、フルセットオープンAPIなどが提供されており、業務用として多様な使い方ができることも特徴です。
SDカード対応が実は何気に便利です。MicroSDは小さくて取り扱いが困難することがあります。撮影場所が暗かったり足元に隙間がある現場の場合、MicroSDを落としてしまったり、見失うこともあります。SDカードは大きいので地味に便利です。
バッテリー動作で最大120分、AC電源動作で最大240分の連続撮影（SDカード容量128GBの最大まで）を実現しています。32GBで大体1時間の撮影が可能です。SDカードは4枚を同時に使います。
カメラユニットは、Ambarella A9プロセッサー、Sony EXMOR CMOSイメージセンサー、190°フィッシュアイ10層ガラスレンズで構成される4台のカメラを1つのユニットに統合したことで、小型化が実現しています。小型化により視差が小さく抑えられています。視差が小さいということは、ステッチのズレも小さくなるということです。
さらにカメラのシンク機能により4台の録画が完全にシンクロしています。フレーム単位で一致した映像を撮影できます。
他には、製造時にカメラユニットの調整が行われ、カメラごとの個体差による画質の違いが最小に抑えられています。4台のカメラの映像をつないだ時に、安定した品質を実現しています。
Z-CAMで実際に撮影してオプティカルフローの効果を検証！
実際に撮影した映像で、オプティカルフローの効果を検証します。「Z CAM WonderStitch」の体験版による書き出しのため2Kのステッチになります。見やすいようにエクイレクタングラー形式の平面のままで掲載します。
「Z CAM WonderStitch」のステッチモードは、「Optical flow」と「Fast」があり、それぞれのモードで書き出し比較します。「Fast」はオプティカルフローの効果が弱いステッチモードのようです。加えてAutoPanoでステッチしたものも紹介いたします。Z CAMならこのぐらいの解像度が出るという参考にどうぞ。AutoPanoはついでに明暗も調整しています。
検証1：極めて狭い場所での検証
横幅が1m程度の極めて狭い通路とエレベータを移動します。移動に伴い電動式のスタビライザーも併用しています。映像の全体に視差（ステッチのズレ）が発生する環境です。
「fast」によるステッチがもっとも良い結果でした。この狭い空間で驚くほど繋がっています。「Optical flow」を強く効かせたステッチでは、エレベータの扉が歪んでしまっていたり、タイルの壁がブルブルと揺れています。Optical flowが効きすぎてしまい悪影響が出ました。
Optical flowを使っていないAutoPanoによるステッチではステッチの線が分かりますが、Z CAM S1は視差が少ないためオプティカルフローが無くても、十分に使える映像になります。狭いところでの繋がり方の参考にどうぞ。このように狭い場所でも、良質な映像を得られます。
Optical flow：△
fast：◎
AutoPano：〇
極めて狭いの場所・WonderStitch・Optical flow / 2K書き出し△
極めて狭いの場所・WonderStitch・Fast/2K書き出し ◎
極めて狭いの場所・AutoPano・sharp / 4K書き出し 〇
検証2：2-3ｍの場所での検証
横幅が2～3mの歩道を移動します。移動に伴い電動式のスタビライザーも併用しています。左にはタイルの壁、右には手すりがあります。
AutoPanoを見ると、本来のステッチのズレがどこに発生しているか分かります。
このぐらいの距離の場合に「Optical flow」が効果的に作用しました。
Optical flowをかけると手すりも完全に繋がり、タイルの壁も上のほうの建物もピッタリです。真下にいる人の頭も繋がっています。これは脅威的です。頭の周りの地面は、オプティカルフローの影響を受けてモニョモニョしていますが、あとはすべてうまくいっています。
fastでも左のタイル、右の手すりがしっかり繋がっています。建物の先や頭などのステッチが本当に少しだけズレています。
Optical flow：◎
fast：〇
AutoPano：〇
2-3ｍの場所・WonderStitch・Optical flow/2K書き出し ◎
2-3ｍの場所・WonderStitch・fast/2K書き出し 〇
2-3ｍの場所・AutoPano・スマート / 4K書き出し 〇
広い場所での検証
広い場所の撮影では、そもそもステッチの視差によるズレが小さく、オプティカルフローの効果は感じられません。使わないほうが良いでしょう。
逆にオプティカルフローにより、映像が揺れてしまっている場所があります。広い場所では、オプティカルフローが無い方が良質な360度映像を得られます。
Optical flow：△
fast：◎
AutoPano：◎
広い場所・WonderStitch・Optical flow/2K書き出し △
広い場所・WonderStitch・Fast /2K書き出し ◎
広い場所・AutoPano・シャープ（オプティカルフロー無し）/4K書き出し ◎
結論：「Z CAM WonderStitch」オプティカルフローは数メートルの時に効果的！
「Z CAM S1」は、毎月のようにバージョンがアップされ、ファームやソフトウェアが更新されています。そのため2017年6月時点の状態のみでの判断になります。今後はさらにオプティカルフローが改良されて特長が変化します。それを踏まえての結論としてお考えください。
推測ですが、オプティカルフローは中間の映像を生成することから、遠すぎると関係のない部分が揺れてしまったり、近すぎると適用範囲が増えて破綻してしまう傾向を感じます。ほどよい数メートルの距離のステッチのズレの調整には、効果を発揮していると感じました。
オプティカルフローがあれば魔法のように繋がるとは考えずに、適当な場所において、撮影時にほどよい距離を確保することで、より高品質な映像が得られる手段の一つとして利用するべきです。
またZ CAM S1は、オプティカルフローを利用しなくても視差が少ないため、十分に使える映像を撮影できます。映像によって最適なステッチ方法が変わりますので、複数のステッチソフトを利用するのが良いでしょう。「Z CAM S1」で撮影した映像は他のさまざまなステッチソフトでも処理できることも魅力です。
実証実験：「Z CAM WonderStitch」オプティカルフローは数メートルの時に効果的？
上記の検証動画ですが夕暮れ時に撮影したため、どれも暗く良質に見えません。Z CAMはどのぐらい綺麗に撮影できるのか。そして上記の仮設は正しいのか。実際に撮影して検証してみましょう。ステッチのみでポスト処理は一切していない映像で紹介いたします。
まずはオプティカルフローを使わないAutopanoでステッチした映像を確認ください。色は撮影したそのままです。木のアーチの上部にステッチのズレが発生しています。このように天井側の線はズレやすい傾向があります。オプティカルフローは数メートルの時に効果的理論から考えると、このステッチのズレはオプティカルフローで効果的に修正されるはずです。
WonderStitch・Optical flow/2K書き出し
ステッチが切れていた部分がばっちり繋がっています。「Optical flow」がちょっと強めにも感じます。
WonderStitch・fast/2K書き出し
かなりよい品質でステッチできました。木のてっぺんが完璧に繋がっています。
納品用に加工してみた
上記の映像を簡単にポスト処理したものがこちらです。6K（6000×3000ピクセル）の360度に変換してありますのでご確認ください。フレアの削除、ステッチのズレ修正、三脚の消込など行った映像です。「Z CAM S1」を使えば、このぐらいの映像を作成できます。早い回線環境で右下のネジから、5Kを選択してください。※6000ピクセルでアップするとyoutubeの場合5K扱いになります。
Z CAM S1に関するお問い合わせはこちら
EX：万能で最適な360度カメラとは
当社（ジュエ株式会社）は「Z CAM S1」の販売のほかにも、さまざまな360度カメラ機材の販売・レンタルの他に撮影業務を行っています。あらゆる360度カメラを業務で使用します。
実はこれが一番完璧という360度カメラは無く、それぞれの撮影にそれぞれ最適な360度カメラがあるという認識です。簡単に使っている機材を一部紹介します。「一番良い360度カメラはどれか？」を探されていると思いますが、まずどのようなシーンを、どのような品質で撮影したいのか、それらを明確にしてから、機材選定を行うことをお勧めします。
改造GoPro 2台セット
2台のカメラで構成される360度カメラです。2台のためステッチの調整も行いやすく、220度、250度、280度のレンズを組み合わせることも可能です。360度撮影の基礎や仕組みの理解にも最適な機種です。最小構成でありながら4Kの出力ができる使いやすいモデルです。2台のカメラのため前後の映像は繋ぎ目が無い状態で使えるため近接した撮影も得意です。
改造GoPro 3台セット
3台のカメラで構成される360度カメラです。センサーが縦（GoProが縦）でありステッチの調整も行いやすく、220度、250度、280度のレンズを組み合わせることも可能です。2台と同じように使いやすく、かつ解像度も6Kまで対応可能な使いやすさと品質を兼ねた実用性の高い360度カメラです。視差が発生する部分を制御しやすく近距離から遠距離の撮影までバランスよく使えます。
GoPro6台のスタンダード・マウント
業務用360度カメラの定番だった6台構成の360度カメラです。現在はシンク機能が付いたGoPro OMNIに移行していますが、スタンダードマウントの方が実はより細かい撮影設定が可能です。ハイスピードの撮影を行いたい場合は、まだ有効な360度カメラです。菱形にカメラが構成されるため、近距離の場合はステッチが気になることがあります。8Kまで撮影できます。
GoPro6台のブロードキャスト・マウント
スタンダードマウントのカメラ配置は菱形で組み合わせされるため、撮影対象によっては、ステッチ部分が気になるケースがあります。そのような場合には、GoProの縦配置が便利です。映像の底面に穴は空きますが、ステッチ部分の調整が行いやすく、このタイプを好んで使用する人もいます。8Kまで撮影できます。
GoPro6台のGoPro OMNI
6台のカメラの撮影フレームを同期できます。フレームの同期によりステッチの品質が向上します。GoPro純正のカメラにリグ、そして純正のステッチソフトであるAutopanoが提供されています。最適化されたカメラ・リグ・ステッチソフトによりワークフローの効率化が可能です。近接の撮影は苦手でありますが、使いやすく定番といえます。ついついGoPro OMNIを使ってしまう人も多いです。
GoPro10台のPRO HD
10台のカメラで構成されます。12Kまで撮影できます。360度カメラは台数が多いほど、高い解像度の360度映像を作成できます。8K以上や高いFPSで撮影したときに使えます。10台以上、20台以上のカメラで構成するリグもありますが、大量のデータを処理する必要がありまして、なかなか・・・。6台構成で8Kまで撮影できれば、十分なのではという認識です。
GoPro 3台 水中用のリグ
3台のカメラで構成される360度カメラです。普通の防水ケースでは水の中では光が屈折するため、映像が繋がらなくなります。このように高精度なドーム型のリグが必要です。ちょっとした水中撮影に効果を発揮します。
GoPro6台の 水深1000mの耐水性リグ
6台のカメラで構成される360度カメラです。8Kの水中映像は、とても高画質で感動するほどの映像が撮影できます。潜水艇に装着して深海近くまで撮影できます。
GoProのセンサーを抜き出した360度カメラシステム
GoProのセンサーを抜き出しまして、レンズを再配置する特殊な機材です。カメラユニットを省略することで、最小の視差を実現したカメラです。車内など、とても狭い場所の撮影に最適です。
以上はスポーツカムであるGoProを使った360度カメラです。スポーツカムはセンサーも小さいためダイナミックレンジが限られています。解像度ではなく、解像感が欲しい場合は、より大きなセンサーを利用したカメラシステムを利用することになります。
マイクロフォーサーズ規格を使用した独自の360度カメラシステム
Z CAM E1などマイクロフォーサーズ規格を使った独自の360度カメラです。固定のリグなどもありますが、配置や台数などを自由に調整できます。GoProより広いダイナミックレンジで撮影できます。特殊な撮影に活躍する360度カメラです。一眼レフカメラを利用することもあります。運用の難しさやさまざまな技術が必要になります。
ドローンに搭載した独自の360度カメラシステム
空中で全天球360度動画を撮影できます。ドローンの消込処理もできます。写真はイメージです。要は同じ原理です。要件に応じて構築してゆきます。複雑なカメラの運用に加えて、ドローンの技術も必要です。
シネマカメラを利用した独自の360度カメラシステム1
ブラックマジックなどダイナミックレンズが広いシネマカメラを利用した独自の360度カメラシステムです。暗い場所や明るい場所、夜間の花火などさまざまな撮影が可能です。スポーツカムとは比べ物にならない解像感を得られます。同じ4Kでもまったく画質が異なります。機材やカメラの運用はもちろん、データも巨大になり手軽な運用はできません。
シネマカメラを利用した独自の360度カメラシステム2
空間音響に対応させることも可能です。レンズも特殊なものが必要です。
ブラックマジックのシネマカメラを利用した独自の360度カメラシステム3
REDを利用した独自の360度カメラシステム
現状ではこれ以上の解像感を得られる360度カメラはないはずです。映画撮影で使用されるREDを複数台使用するため、映画撮影の複数倍大変になります。装置も巨大になるため視差もそれなりに発生します。ポスト作業も高度なレベルを求められます。
これらのカメラを利用して、地上、空中、海中、室内、車上、車内とあらゆる空間の360度撮影を4K～8K以上の解像度で行っています。Web用の撮影から、CMや映画クラスまで提供しています。現在、弊社の撮影できない場所は、「大気圏」になります。ロケットが必要なので 今後の課題です。ロケットをお持ちの会社と是非、協業したいところです。
そういった経験を踏まえてですが、社内では実は、これが一番完璧という360度カメラは無く、それぞれの撮影に、それぞれ最適な360度カメラがあるという認識になっています。解像度＝画質ではなく、ダイナミックレンジも重要であったり、視差によるステッチの影響も品質に影響を与えます。
シネマクラスの360度カメラで撮影すれば、映像は綺麗なのですが、撮影のためのカメラ運用が大変あることや、ポスト作業が増えワークフローが増大します。撮影の規模が大きくなり手軽さがありません。さらにカメラやレンズ、センサーサイズが大きくなるため、視差も大きくなり、ステッチのズレが大きくなってしまうなど、ディメリットも多いのも事実です。
実は、明るいところや暗いところの差が、大きくなければスポーツカムクラスのGoProでも十分な画質が得られます。そういった関係で撮影するシーンによって、最適な360度カメラが異なってきます。本記事を読まれている皆様も「一番良い360度カメラはどれか？」を探されていると思いますが、まずどのようなシーンを、どのような品質で撮影したいのか、それらを明確にしてから、機材選定を行うことをお勧めします。
