2022年以降の定番ステッチングソフトウェアはMistikaVR(ミスティカブイアール)です。初めてMistikaVRを使用する方に全体の使い方を分かりやすく紹介します。基本的な使用方法を理解できれば、あとはメーカーのチュートリアル動画を見たり経験を応用することで、さまざまな使い方を実現できます。
複数の広角なカメラ映像を合成して、360°や180°のエクイレクタングラー形式に変換することをステッチ(ステッチング)といいます。過去には、複数のステッチングソフトウェアがありました。代表的なものはAutopanoです。ソフトウェアの開発や継続が中止になり、今ではMistikaVRだけです(厳密にいえば、2~3ありますが)。
Mistika VRはサブスクリプションです。Personal Editionは機能に制限があるので、Professional Editionを使います。1ヵ月€69です。円に換算すると約1万円(2022年8月時点)です。Free Trial(7 day license.No Render Allowed)で操作の練習もできます。Free Trial版は書き出しが出来ないのが残念です。
Mistika VR
https://www.sgo.es/mistika-vr/
※海外から直接ライセンスを購入できないお客様に向けて、Mistika VRのライセンス手続きもしております。お気軽にお問い合わせくあdさい。
市販されている360°カメラは、基本的に専用のステッチングソフトウェアが付属しています。自作のVRカメラをステッチする場合や、特殊な処理が必要な時にMistikaVRを利用します。例えば、より高画質なVR映像を作るために、シネマカメラ+魚眼レンズの組み合わせの時にMistikaVRを利用します。
※バージョンによって、ちょこちょこメニューが変化します。本記事は2022年8月時点でバージョンは 10.5.1です。
ジュエ株式会社では、4K・8K・12K・16K 180度及び360度VR撮影を提供しています。VR撮影によるバーチャルプロダクション(LEDウォール用VR撮影・超ワイド)映像、動画素材、企業PR、展示会紹介、アトラクション、宣伝素材、インバウンド、観光の撮影および編集制作はジュエ株式会社(本社:東京浅草)にお任せください。RED 8K60fps(複数台)超ハイエンド360°撮影も提供いたします。
Mistika VRステッチ原理
Mistika VRには、標準的なVRカメラやレンズテンプレートが用意されています。テンプレートが適切ではない、もしくは用意されていない場合は、自分でテンプレートを作成して利用します。テンプレートの作成には、PtGuiという定番のパノラマ作成ソフトを利用します。VRはPtGuiに始まりPtGuiに終わると言えるほど基本的なソフトウェアです。静止画のステッチソフトです。
購入するならPTGui Pro licenseを購入しましょう。Pro表記が無いノーマルライセンスは、機能の制限があります。円に換算すると約4万円~5万円です(2022年8月時点)。こちらは買取ライセンスなので、それ以降はお金が発生しません。Mistika VR単体でも使用できますが、専門的に利用するにはPtGuiと組み合わせて利用します。
みんな大好きPtGui
https://ptgui.com/
Mistika VRをインストール&ライセンス認証
Mistika VRのサイトへログインして、体験版もしくはサブスクリプションにてソフトウェアを入手します。Webサイトがスペインにあるためなのか、サイト全般的に重たいことがあります。
Mistika VRを起動すると「SGO Activation Tool」も起動してライセンス認証されます。このライセンス認証が分かり難く&とても失敗しやすくイライラします。時間がかかったり2~3回ぐらい再入力が必要なこともあります。
「SGO Activation Tool」が起動すると、ログイン画面が表示されます。登録したメールアドレスとパスワードを入力します。
複数の認証方法がありなかなか意味不明です。その内の1つの方法を紹介します。ログインしたら左下の「Advanced Mode」をクリックします。
①右メニューには、ライセンスが認証されたことがあるPCが表示されます。②選択したPCのライセンスが有効になっていると、左側にアイコンが表示されます。③下のメニューは割り当てされていないライセンスが表示されます。
割り当てされていないライセンスにカーソルを合わせて「右クリック」すると「Activate selected License」が表示されます。クリックすると「Activation Code」が表示されます。これをコピーします。
「Activation Code」をコピーしたら、右のPC一覧から該当(ライセンスを有効にしたい使っているPC)のPCを選択します。Type Localと表示されているアイコンが、いま自分が使っているPCになります。
いま自分が使っているPC(Type Local)を選び、左側のメニューの「Add Activation Code」をクリックします。
先ほどコピーした「Activation Code」を貼り付けてOKを押すことで、ライセンスが認証されます。※有効になったライセンスは、カーソルを合わせて右クリックで、ディアクティブで無効(割り当てされていないライセンス化)にできます。
サーバーの状況によって、何度も何度も失敗することがあります。ソフトが起動できなくて挫折する人もいるでしょう。ライセンスが認証されたら「Mistika VR」を起動するとソフトウェアのスタート画面に入れます。
Mistika VRを起動と初期設定
起動すると「Project Manager」が出てきます。初期では、何もプロジェクトが無い状態でしょう。まず「New Project」を選択します。
「Project Name」は適当でOKです。最初に映像の解像度を決める必要があります。ステッチしたい映像が最終的に、どのくらいの解像度になるのか事前に調べておきましょう。プルダウンからは用意された解像度、ネジアイコンからは自由に解像度を指定できます。カメラ機種名、解像度、フレームレートを「Project Name」にすると便利です。
今回は「insta360 TITAN」の撮影データを利用するので、8K(7680×3840)で設定します。解像度は2:1の比率しか設定できません。フレームレートは29.97pにします。
※「insta360 TITAN」のカメラについては、こちらの記事を参考ください。実際には、MistikaVRでステッチするメリットは、ほぼありません。専用のステッチソフトで書き出したほうが楽です。
https://digitalhobby360.jp/2021/insta360-titan-tukaikata/
インターフェースを起動します。初めは意味がさっぱり分からないでしょう。まずはステッチしたい映像をまとめてドラックして、ドロップします。
「Camera Stack Option」が表示されますが、何もせずに「Continue」でOKです。
フルスクリーンで表示しないと、重要な項目が隠れます。基本フルスクリーンで操作しましょう。狭い画面で見ると自然に重要なアイコンが書略されます。
狭い画面では、このように再生ボタンしか表示されません。
フル画面で見ると、重要なアイコンがこっそり出てきます。
まずはステッチしないことには、何も始まりません。ステッチをすることで、プレビューエリアに合成された映像が表示されます。まずはステッチ処理をします。
Mistika VRでステッチ処理
映像の登録ができたらステッチのテンプレートがあるか探します。
「Stitch」をプルダウンしてみると「Use insta360Pro Calibrate」があります。選択してもステッチされません。使用しているカメラが「insta360 TITAN」だから機能しないようです。実は基本的に使うテンプレートは別の場所にあります。
上のメニューの「Scene」を選択して「Load Preset」を選びます。
「Insta360Titan_3840x2880.grp」と「Insta360Titan_4800x3072.grp」がありました。それぞれ適用させてみますが、正常なステッチになりません。テンプレートの何か設定数値が違うのでしょう。
実はよくあることです。テンプレートがそのまま使えたら、ラッキーぐらいの確率です。
Ptguiを利用してテンプレートを自作します。公開されていないレンズ情報も多いため職人技で作成します。Ptguiのステッチデータは、MistikaVRで読み込むことができます。
Ptguiで作成したテンプレートで、正常にステッチできました。先ほどは穴が開いてズレていた部分も繋がりました。
Mistika VRの重要なインターフェース紹介1
画面の役割を簡単に紹介します。左から右に処理が流れてゆくインターフェースになっています。
プレビュー画面の下に、サムネイルが表示されます。※別の映像がある場合は、このサムネイルに映像一式をドロップすることで、別の映像として登録できます。プレビュー画面エリアに映像を落すと、同じシーンの追加の映像として処理されます。
左側には、映像の個別のカメラ映像が表示されます。数値は、フレームのズレを調整します。カメラのfps(フレーム)がズレている場合に、ここでプラスにしたりマイナスにすることで、同期のズレを調整できます。
プレビュー画面の下にタイムラインがあります。さらにその下に操作アイコンがあります。再生アイコンは、使ってみれば意味が分かるので、説明を省略します。右側下にあるアイコンが重要です。画面が狭いと非表示になります。困ったものです。
右側にある重要なアイコン類!
①サムネイルの表示・非表示切り替え<重要>
別のシーンに移動したいときに、この切替ボタンの存在を知らずに、サムネイルが非表示になっていると別のシーンが探せず悩みます。
②個別カメラの全数表示と、プレビュー表示の切替<重要>
間違ってこのボタンがONになっていると、ステッチ画面のプレビューが非表示になり、個別のカメラが表示されます。存在をしらないと、いくら設定してもステッチされない・・・・と混乱します。
③右メニューで選択しているカメラの個別表示切替
円周魚眼のサークルを的確に合わせたいときに使用します。
④アナグリフ等の何か操作ボタン
そういえば、使ったことがありません。
⑤VRで見た場合の表示切替<重要>
VR2D(平面)で見た時のプレビューを表示できます。見た目を確認できると共に、ステッチラインなどをチェックするためにも使えます。
⑥HMDを繋いで視聴可能にする切替
立体視などをステッチするときに便利です。多くの場合はアナグリフを見て直接ステッチしますが、アナグリフが見えずらい場合に便利です。
⑦カメラ番号とエリアの表示<重要>
⑧ステッチ面の影響範囲エリアの表示<重要>
いずれもステッチ品質を調整するときにONにします。
⑨ガイド線表示<重要>
水平垂直を正しく調整するときにガイドとして利用します。
それぞれON/OFFをして使って効果を確認しましょう。
プレビュー画面は、マウスのスクロールでとズームと縮小ができます。プレビュー画面の上下横への移動は、隠しコマンドのごとく「右クリック(押しっぱなし)」をしながらドラックすると移動できます。
Mistika VRの重要なインターフェース紹介2
下段メニューの右側には「Options」があります。ここで設定するのは、「Stich Feather」だけでOKです。「Stich Feather」はどれだけ映像をブレンドするのかを設定します。プレビューを見ながら自然になるように調整します。
「Stich Feather」0の場合は、視差があるステッチラインは、ばっさり切れて表示されます。映像を調整するときは、0で確認しながら調整します。
例えば「Stich Feather」を5にすると、このようにブランドされます。数値の大きさは実際の映像を見ながら調整してください。
そのあとに「Use Optical Flow」のチェックを入れると、ステッチ面がオプティカルフロー技術で自然に繋がります。確認したらチェックを外しておくと、動作が軽くなります。Optical Flowは書き出し直前にONにすると良いです。
Mistika VRは、各種の数値を細かく調整できます。素晴らしいステッチソフトウェアです。とても深く使えます。
設定項目をざっくり説明します。
①「Vignetting」は特に設定しなくてOKです。カメラのビネットの調整機能ですが、色は概ね自動で調整できるのでほぼ使いません。
②「Optical Flow」は、ステッチ面が揺れている(迷っている)場合や、効果が薄い場合、オプティカルの品質が悪い場合に数値を変えて試して見ましょう。最初は初期設定でOKです。
③「Camera Defaults」は、初期設定でOKです。ここはテンプレート等から読み込まれたレンズの補正情報が変更できます。微調整したいときに使えます。
④「Input Cameras」は、初期設定でOKです。Camera Defaultsからの設定も反映されています。Camera Defaultsが反映された個別のカメラ入力設定と考えていますが、厳密には違うのかもしれません。微調整したいときに使えます。
※Edge Pointsは、Edge Pointsを設定して選択すると設定数値が出てきます。個別のカメラの映像をどの程度つかうか調整をしたいときに、Edge Pointsを設定します。
⑤「Output Camera」は、ステッチされて合成された映像に対して設定ができます。出力されるYawやPitchやRollの調整に使います。ガイド線表示と一緒に使うとよいでしょう。
Mistika VR 書き出し設定
書き出しは、メニューの「File」の「Render」を選択します。
①「Current Shot」は選択中の映像を書き出します。②「All Shots」はタイムラインにある全ての映像を書き出します。③ビデオフォーマットは、中間ファイルとして書き出すことが多いため「ProRes HQ」をよくつかいます。CG系の人には、ProRes 4444 XQで書き出すと良いでしょう。
④「Stereo」は立体視(3D)の場合に選択します。立体視ではないモノラル(2D)の場合は「No Stereo」です。⑤「Destination」は、書き出しのファイル名設定です。「Render name」、「Source name」を指定するのがお勧めです。書き出したファイルが分かりやすくなります。設定が終わったら⑥「Render」で書き出します。
Mistika VRの発展的な機能紹介
Mistika VRでよく利用する機能を紹介します。色の調整とステッチラインの調整を行うことでステッチの品質が向上します。
色調整機能「Color」機能
カメラが複数台あれば、それぞれ多少は色調が異なります。できる限り色調を同様に調整したほうが良いです。ステッチで映像をブレンドしてしまえば、分かり難くなりますが、調整した方が結果が綺麗です。
「Color」をクリックすると「Match Color」「Match Color in time」が出てきます。「Match Color」は見ている1フレームの画面に対して色をマッチさせます。
「Match Color in time」にして頻度を指定すると、指定したフレーム数ごとに「Match Color」が実施されます。「Match Color in time」で1にすると、1フレームごとに「Match Color」が実行されます。
「Rest Color」で元の映像を見ながら、何度も試します。色味を見るときは、「Stitch Feather」を0にすると、色の違いが分かりやすいです。
カメラ使用範囲指定「Edge Points」機能
「Edge Points」を使うことで、特定のカメラの映像を広く使ったり、重要な対象物をステッチラインから外すことができます。
まず下記画像の「2つのアイコン」を有効にします。選択することでカメラ番号とカメラ範囲、カメラ同士の境界線を視認できます。
対象のカメラを選択します。例えば8番カメラは、窓にステッチのラインが来ています。これを変えてみます。8番カメラを選択して「Edge Points」の「Add Edge Point」をクリックします。
P8というマーカが追加されました。マーカを選択するとマウスで移動できます。これで8番カメラの使用範囲を調整できます。
8番カメラの使用範囲を変更することで、窓のステッチラインを外すことができました。右下のメニューにある「Edge Points」のパラメータを変更することで細かい調整ができます。
隣接する7番1番カメラにも「Add Edge Point」を追加して、それぞれ範囲を調整することで、ステッチラインをコントロールできます。同時に「Stich Feather」の数値も併用すると効果的です。
映像の安定化(スタビライズ)を行う「Stabilize」機能
フレームごとの動きを計測して揺れを緩和します。まず「Stabilize」の分析をかけます。1回だけ分析すればOKです。揺れに違和感を感じたら「Follow Heading After x Frames」の数字と変えて「Reapply Stabilize」をクリックすると設定が反映されます。
万能なスタビライズではありません。気休め程度です。悪影響を及ぼすことも多いです。
以上で基本的な使い方が理解できたことでしょう。あとは困ったらメーカのチュートリアルサイトを確認ください。学んだ知識で読み解くことができるはずです。
Mistika VR Video Tutorials
https://www.youtube.com/user/SGOCorporation/playlists?view=50&sort=dd&shelf_id=5
ジュエ株式会社では、4K・8K・12K・16K 180度及び360度VR撮影を提供しています。VR撮影によるバーチャルプロダクション(LEDウォール用VR撮影・超ワイド)映像、動画素材、企業PR、展示会紹介、アトラクション、宣伝素材、インバウンド、観光の撮影および編集制作はジュエ株式会社(本社:東京浅草)にお任せください。RED 8K60fps(複数台)超ハイエンド360°撮影も提供いたします。