Apple Vision Pro（アップルビジョンプロ）は2024年2月2日にアメリカで発売です。思ったより早い登場です。さまざまなメディアやYouTuberの方々がレビューを公開するでしょう。楽しみです。
https://www.apple.com/apple-vision-pro/
Apple Vision Proは、空間コンピューティング・空間オペレーティングシステムとして、デジタルと現実のシームレスな融合をコンセプトにしています。コントローラではなく、目や手や声で自然に操作できることも特徴です。
空間コンピューティング・空間オペレーティングシステムと表現していることや、HMD内でスクリーンを表示して作業するシーンが多いように見受けられます。仮想空間といえども、モニター（スクリーン）作業が最適解だったのでしょう。
・例：Youtubeリンク（4分19秒～）
3D写真と3D動画をサポートにちょっとだけ驚き
Apple Vision Pro自体に3D写真と3D動画（空間写真と空間動画・spatial photos and spatial videos）用のカメラが付いていることや、iPhone 15 Proにも3Dカメラ機能が搭載されたことです。3D動画を推していることに驚きました。
Apple Vision Pro内で3Dを視聴すると、良質な体験が得られるのかもしれません。これをきっかけにVR180市場が盛り上がればうれしいです。
Apple introduces spatial video capture on iPhone 15 Pro
https://www.apple.com/newsroom/2023/12/apple-introduces-spatial-video-capture-on-iphone-15-pro/
Appleの3D動画のフォーマット
Appleの3D動画ではなく空間動画と表現しています。英語はspatial videoです。またアナグリフ（赤と青の立体）やサイドバイサイド（左目と右目用の映像が並列）ではなく、Apple HEVC Stereo Videoというフォーマットです。HEVCフォーマットの拡張版でMV-HEVC（マルチビューHEVC）に沿った方式のようです。PDFに技術的な仕様書がありました。
PDF仕様書：Apple HEVC Stereo Video Interoperability Profile (Beta)
https://developer.apple.com/av-foundation/HEVC-Stereo-Video-Profile.pdf
ざっくりと説明すると、HEVCファイルに左右の動画レイヤーが入っており、3D対応環境の場合は3D立体視で視聴できて、非対応の場合は2Dの普通の動画として見れるというスマートなフォーマットです。さすがAppleです。
海外フォーラムなどで、変換できるツールを開発している人々を見かけます。近いうちにMV-HEVC/spatial videoの変換ツールなどがオープンソースで出てくることでしょう。
企業・イベント・展示会でAR・MR的な使い方になる？
Apple Vision Proは、高価価格かつ高品質な体験ができることから、ハイエンドな個人ユーザーだけではなく、企業・イベント・展示会で使用されると推測できます。商用利用など細かい規定はあるかもしれませんが、各社このデバイスを使ってどのような体験やプロモーションを提供するか検討を進めているでしょう。
当然ですがVR（すべて仮想空間で周りが見えない）で使うのではなくAR・MR（透過しており周りが見える）的な使い方で、動画とCGモデルを同時に表示して見せる使い方が多いのではないでしょうか。また16:9動画の通常の動画を流しても、つまらないので差別化を考えると、高品質な超ワイド映像などが考えられます。Appleの動画の中でもちょくちょくと使われています。
・ワイドな例：Youtubeリンク（1分53秒～）
・ワイドな例：Youtubeリンク（8分35秒～）
HMD内で再生する動画で差別化を考えると、特別なシーン（例えばドローンなど）を高品質な映像にして、パノラマ的なワイドで見せるのがリッチな感じです。
具体的にVR撮影を応用してハイエンドなワイド映像を提供
ジュエ株式会社ではVR撮影を応用することで、ハイエンドなワイド映像の撮影が可能です。Apple Vision Proで表示するに相応しい高級感ある豪華な超ワイド映像を提供できます。
また現時点では空間動画のエンコードや再生方法が不明ですが、広角レンズを2つ搭載したカメラを並べることで、3D立体視でも同様の撮影が可能です。展示会やイベントの目玉としてどうぞご検討ください。お気軽にご相談ください。
4K・8K・12K・16K 180度及び360度VR撮影
https://jouer.co.jp/distinations/360do-vr-satuei/
ドローン撮影など空撮も行っておりますので、お気軽にご相談ください。
実際にApple Vision Proの利用を想定してハイエンドなワイド映像作成
Apple Vision Proの利用を想定してハイエンドなワイド映像をOculus meta Quest3のMR（カラーパススルー）機能で視聴してみます。8Kシネマカメラ（RED 8K）にて海岸で撮影したサンプル映像を使います。
8Kシネマカメラの映像はとても美しく、Entaniya HAL 220 PLも優秀なフィッシュアイレンズであり220°という超広角ながら、解像感も高く色収差も少なく歪みも均等で素晴らしいレンズです。広視野角で映画のようなシーンを撮影できます。
いったん全天球となるようにエクイレクタングラ形式に変換します。色はR3DからREDWideGamuRGB / Log3G10に変換しており灰色に見える中間素材の形式です。
エクイレクタングラ形式のそれぞれの視野角が分かりやすくなるよ
Apple Vision Proにて使いたい視野角や、映像が途切れていないエリアまでを適宜映像を切り出します。水平で200°、水平で60°ぐらいなどちょうどよい感じでしょう。広視野角でかつ8K程度の動画となります。
REDWideGamuRGB/Log3G10なので、2020やHDR等に変換できます。つまりさまざまなシーンに合わせて適切なカラーコレクション及びカラーグレーディングが可能です。
この映像をOculus meta Quest3に入れてMRで視聴してみました。目の前にワイドなスクリーン、手前にはCGモデルを表示することができました。
Oculus meta Quest3で見た印象ですが、表示する空間に合わせてたスクリーンサイズや演出、表示する空間自体が高級感がある必要を感じました。物理的な壁や現実の物が手前にあると仮想スクリーンに干渉することがあり、体験の品質を大きく下げました。MRの場合はリアルな会場や環境の準備が重要になるでしょう。
またOculus meta Quest3では、MRできちんと動作することに驚きを感じつつも、性能的に完璧な体験とは言えず、Apple Vision Proが楽しみです。
ジュエ株式会社では、特殊なVR撮影技術を得意としております。Apple Vision Proで表示する特殊なワイド映像など変則的な撮影をしたい場合はぜひご相談ください。
