visionOS 27の最新情報

RealityKitを使用すると、現実世界とスムーズに融合された、インタラクティブで質の高い空間体験を構築できます。 今年は、これらの体験をさらにイマーシブにするエキサイティングな新機能が追加されています。

物理空間のライティングについては、仮想的な照明と現実世界の環境のブレンドにより、バーチャルオブジェクトによる物理表面への光の投影が可能になりました。この機能と新しいProjective Textures APIを組み合わせると、スポットライトに直接テクスチャを追加して、ステンドグラスの反射や水のゆらぎなどの効果をシミュレーションできます。RealityKitは布地をリアルタイムでシミュレーションして、旗、カーテン、衣服などのファブリックに命を吹き込みます。ユーザーの操作や動きに自然に反応させることで、インタラクティブコンテンツに新たな可能性をもたらします。

これらの機能強化はビジュアルだけに留まりません。Reverb Mesh APIを使用して、環境内の様々なマテリアルにより音声がどのように吸収および拡散されるかを正確にモデリングすることで、リアルな空間オーディオをシミュレーションできます。RealityKitによる3Dガウススプラッティングのレンダリングがより効率的になり、現実世界のオブジェクトの写真のようにリアルなスキャン画像を仮想体験に取り込めるようになりました。

これらの機能は、ユーザー環境に自然に反応するリアルなライティング、マテリアル、力学、オーディオを実現し、仮想世界と現実世界がシームレスに融合された空間体験を構築するためのツールを提供します。

Reality Composer Pro 3は、visionOSおよびiOS向けのゲームやアプリで使用する3Dコンテンツについて、それらの反復処理、プレビュー、作成をMac上で迅速かつ簡単に行えるように設計されています。印象的なシーンをビルドし、映画のような正確さでキャラクターをアニメーション化できます。ライブプレビューでは、Reality Composer Proで行った変更をApple Vision Pro上で即座に確認できます。

Xcodeとの高度な統合、パワフルで視覚的なスクリプト、アセットの作成を支援する生成AI、デザイナー、アーティスト、エンジニアに合わせてカスタマイズされたワークフローにより、Reality Composer Pro 3はアイデアと体験のギャップを埋めることができます。マテリアルを変更したり、アニメーションを微調整したり、レイアウトを見直したりした後、わずか数秒で、その結果をデバイス上で確認できます。

RealityKitやSwiftUIなどのネイティブのフレームワークはvisionOSと密に統合されています。Unity、Unreal、Godotといったほかのエンジンですでにゲームを開発している場合、これまで以上に簡単にApple Vision Proに移行できます。

UnityはApple Vision Proのリリース以来、visionOSをサポートしています。さらに今年、visionOSは、Unityのアプリとゲームで空間アクセサリをサポートするようになりました。Sony PlayStation VR2 Senseコントローラなどの空間アクセサリを使用して、正確な触覚インタラクションをデザインできます。

GodotでビルドしたゲームをvisionOSに移行することもできます。GodotによるCompositorServicesのサポートにより、完全なイマーシブ体験を実現できるようになりました。新しいRealityKitレンダリングプラグインにより、ウインドウやボリュームを使用する共有スペースにゲームを移行できます。新しいPHASEオーディオプラグインを使用すると、Appleのオーディオフレームワークを使用した空間オーディオが可能になります。visionOS上のGodotは、Sony Playstation VR2 Senseコントローラもサポートしています。

ほかのゲームエンジンを使用しており、ImmersiveSpaceでゲームを表示する必要がある場合、visionOSとmacOSの両方でCompositorServices APIを直接導入できます。

ワークスペースを変革するMac仮想ディスプレイを使用すると、どこにいるかに関わらず、大型のプライベートなポータブルディスプレイを使ってMacで作業できるようになります。今年、この機能は、新しいmacOS Spatial Previewフレームワークによっていっそう強化され、Apple Vision Pro上の空間コンテンツをMacから直接プレビューし、SharePlayを通じてほかのユーザーと共同で編集できるようになりました。

Spatial PreviewフレームワークはMacアプリをvisionOS上のクイックルックに接続します。そのためユーザーは、Apple Vision ProのライブUSD編集を使用して、空間写真、Apple Immersive Video、3Dコンテンツを即座にプレビューし、アップデートできます。注釈を使用すると、3Dシーン内を自由に移動する、コンテンツの配置を見直す、ライティングやマテリアルのオーバーライドを調整する、フィードバックを共有するといった作業をすべて空間環境内で行えます。

visionOS 26.4で導入されたFoveated Streamingフレームワークは、Apple Vision Proから、ローカルおよびクラウドのストリーミングエンドポイント（PC、ワークステーション、クラウドサーバなど）への接続を確立するためのセッションベースAPIを提供します。エンドポイントホストは、ユーザーが視聴しているおおよそのリージョンに基づいて、必要な場合のみ高品質のコンテンツをストリーミングするため、ユーザーのプライバシーを守りつつパフォーマンスを維持できます。OpenXRアプリとゲームは、NVIDIA CloudXR™ SDKと統合することでストリーミングエンドポイントになります。

Apple Vision ProでFoveated Streamingを使用すると、visionOSの空間コンテンツをアプリで表示し、さらにコンテンツをストリーミングできます。例えば、フライトシミュレータアプリは、RealityKitを使用してコックピットをレンダリングし、処理負荷の大きい風景をリモートコンピュータからデバイスにストリーミングできます。progressiveおよびmixedのイマーシブスタイルを含め、ImmersiveSpaceのすべての機能を利用できます。visionOSアプリは、双方向のメッセージチャネルシステムを使用して、ストリーミングエンドポイントとカスタムデータを交換し、ネイティブのSwiftUIインターフェイスでストリーミング配信コンテンツを設定できます。

visionOS 27はオブジェクトトラッキングをさらに向上させ、現実世界でユーザーが物を持ち上げたり、操作したりした時に即座に反応するなど、ダイナミックな体験を可能にします。

• 高フレームレートのトラッキングにより、オブジェクトが空間内を移動した時、アプリでより頻繁にポーズのアップデートを行えるようになります。Create MLの拡張されたトレーニングオプションにより、特に、手に持っているオブジェクトの精度と堅牢性が向上します。
• 新しいAPIを使用すると、ディスプレイ補正を行わなくても、メトリック空間でのオブジェクトポーズが可能になり、外科用のナビゲーショントレーニングなど、高精度な空間測定ユースケースの可能性が広がります。これらの機能はvisionOSとiOSの両方で利用できます。オブジェクトトラッキングはプラットフォーム固有のトレーニングを必要としないため、すでに作成されているリファレンスオブジェクトを、再トレーニングを必要とせずiOSアプリとvisionOSアプリの両方で使用できます。
• iOS向けARKit APIは、visionOSと同じオブジェクトトラッキング機能をサポートしています。

さらに企業は、Apple Vision Proで機能する独自の空間アクセサリを構築できるようになりました。空間アクセサリでは、IR LEDとIMUを組み合わせることで、ボタン、タッチパッド、触覚などの物理的な入力に加え、正確かつ低遅延な6方向の自由度のトラッキングを実現できます。これらのデバイスは最大90Hzでのトラッキングが可能で、薄暗い場所でも動きの激しいユースケースやトラッキングをサポートします。DFRobotやMikroEなどのメーカーは、既製のリファレンスハードウェアと開発キットを年内にリリースする予定です。皆さんのvisionOSアプリでもテストしたり、直接使用したりできるようになります。

Apple Immersive Videoを使用すると、Immersive Media Support（IMS）フレームワークで作成されたプロダクションツールおよびポストプロダクションツールの広範なエコシステムのサポートにより、きわめて質の高いイマーシブなビデオ体験がvisionOSで得られます。

visionOS 27では、IMSにいくつかの機能が追加されています。例えば、カメラプレゼンテーションコマンドは、ライブの複雑なプロダクションシナリオでデフォルトの設定を上書きできます。また、編集やライブプロダクションの実行中、およびカスタムコンポジタパイプラインで、Apple Vision ProのApple Immersive VideoをMacから直接リアルタイムでプレビューできるため、独自のレンダリングステージを取り込むことができます。

visionOS 27では、ワイドアスペクト比のポータルサポートが追加されたため、フルイマーシブモードからポータルモードに切り替えた時、イマーシブコンテンツのワイドポータルビューを維持できます。RealityKitベースとAVKitベースの両方のアプリについて、ポータルウインドウの標準以外のアスペクト比を定義することもできます。