iOS、macOS、visionOS向けRealityKit APIの紹介

iOS、macOS、visionOS向けRealityKit APIの紹介

RealityKitの新しいクロスプラットフォームAPIを使用し、iOS、macOS、visionOS向けのイマーシブなアプリを構築する方法を説明します。ホバーエフェクト、光と影、ポータルクロッシングなどの新機能を取り上げ、実際のアプリでの利用例をご紹介します。

関連する章
- 0:00 - Introduction
- 2:44 - Hover effects and input
- 9:05 - Force effects and joints
- 17:42 - Dynamic lights
- 20:17 - Portal enhancements
- 25:29 - Cross-platform capabilities
リソース
関連ビデオ

WWDC24
WWDC23
- RealityKitによる空間コンピューティンングアプリの拡張
WWDC21
- Foundationの新機能
ダウンロード

こんにちは Yidiです RealityKitチームのエンジニアですこのセッションでは空間コンピューティングアプリの開発に役立つ新しいRealityKit APIをご紹介します
RealityKitは高性能な 3Dシミュレーションとレンダリング機能を iOS iPadOS macOS visionOSのアプリに提供するフレームワークです 3Dコンテンツを現実世界にシームレスに融合させ空間コンピューティング向けのイマーシブなアプリやゲームを開発するための様々な機能が用意されています Apple Vision Proのリリース以来多くの方々から素晴らしいフィードバックをいただいています有益な提案や機能のご要望をお寄せいただいた皆様に心から感謝いたしますうれしいことにそうしたフィードバックの多くが RealityKitに新機能として導入されましたこのセッションでは一部の機能を使用して宇宙船ゲームを作成していきますリンク先のサンプルプロジェクトをダウンロードしてご確認くださいこのゲームはお気に入りの宇宙船で遊ぶ子どもの感覚を再現していますゲームは格納庫から始まりますここはプレイヤーが宇宙船を間近で点検できる安全な場所です次に物理的な環境で両手を使って宇宙船を操縦する方法を覚えます操縦に慣れたら宇宙空間に飛び出し小惑星をかわしながら大切な宇宙貨物を運びましょうポータルを通り抜けて遠い惑星までワープすることもできますこのゲームを構築しながら新しいRealityKit APIを見ていきましょうまずホバーエフェクトを使用して 3Dモデルを操作しハンドトラッキングを使用して中核となる入力メカニズムを構築します次にフォースエフェクトとジョイントを使用し物理的なシミュレーションをゲームに追加しますその後シーンを照らすダイナミックライトを追加し影を使用してプレイヤーが距離を感じられるようにしますさらにポータルAPIを使用して遥か遠い宇宙空間への入り口を開き機能強化された新しいポータルを活用して宇宙へ飛び立ちます
最後に RealityKitのクロスプラットフォーム機能を紹介します他のAppleプラットフォームへゲームを簡単に移行できます最後までエキサイティングな旅をお楽しみくださいさっそく始めましょう
最初はホバーエフェクトと入力です visionOSではアプリのコンテンツをウインドウボリュームスペースに表示できますここではまずボリュームスタイルを使用して格納庫に収められた宇宙船を表示します
プレイヤーはシンプルなドラッグジェスチャで宇宙船を回転させ綿密に点検することができますこのボリュームのベースプレートも提供されプレイヤーが視線を向けている場所が視覚的に示されますお気づきかもしれませんがベースプレートと異なり宇宙船に視線を向けているときは視覚的なハイライトが表示されません宇宙船にHoverEffectComponentを追加してプレイヤーが宇宙船に視線を向けた時自然なスポットライトが当たるようにしましょうこれで操作の応答性を高めることができますではゲームのアートスタイルに合わせてホバーエフェクトをカスタマイズするには？皆さんに朗報があります今年ホバーエフェクトをカスタマイズするための新しいAPIが RealityKitに導入されました先ほどのデフォルトのスポットライト効果に加えて新しい2つのスタイルを使用できますハイライトとシェーダです新しいハイライトスタイルはメッシュ全体を均一にハイライトしますスポットライトまたはハイライトのスタイルを使用する場合色合いをカスタマイズすることもできます新しいシェーダスタイルはシェーダグラフマテリアルと統合することで可能性がさらに広がりますハイライト効果を追加し宇宙船の外観に合わせて色合いを変えてみましょう色の濃さも調整して違和感なく表示されるようにしますそのためには HighlightHoverEffectStyleを作成し色合いをアーティストが定義した黄色色の濃さを0.8に設定します次にこのスタイルを使用して HoverEffectComponentを作成しそれをspaceshipエンティティに追加します新しいハイライトホバーエフェクトをエンティティに追加する方法はシンプルです
スポットライトとハイライトによる新しいカスタマイズ機能を使用するとホバーエフェクトをすばやく簡単に 3Dコンテンツに追加できます一方新しいシェーダスタイルはさらにパワフルで柔軟です Reality Composer Proでシェーダグラフマテリアルを使用して高度な視覚効果を作成できます私はこの機能を使用してカスタムのホバーエフェクトを追加し視線を向けたとき宇宙船の窓がハイライトされるようにしました希望通りになりました宇宙船モデルともぴったり合っていますこの効果を実現するためシェーダグラフで新しいHoverStateノードを使用しました HoverStateノードには複数の入力があります例えばIntensity値はプレイヤーが宇宙船に視線を向けた時 0から1までアニメーション化されます宇宙船の窓にはすでに Reality Composer Proで設定されたシェーダグラフマテリアルがありますこれにHoverStateノードを追加し Intensity値をMixノードに指定しましたこれでプレイヤーが視線を向けたときに宇宙船のエミッシブカラーがフェードインします最後に Mixノードの出力を PBRSurfaceのエミッシブカラーに渡します
コードではデフォルトの入力を使用してホバースタイルをシェーダに更新するだけです HoverStateノードでは様々な効果を実現できます例えば同僚のAdrianは空間描画アプリを開発しシェーダスタイルのホバー効果を使用して 3Dブラシのストロークを紫色の光でなぞるアニメーションを適用しましたこのサンプルの詳細については今年のWWDCのセッション「Build a spatial drawing app with RealityKit」をご覧ください HoverEffectComponentは 3Dエンティティに視線が向けられたとき視覚的なフィードバックを返す効果的な方法を提供しこれらすべてをユーザーのプライバシーを侵害することなく実現します今年は SwiftUIにもカスタムのホバーエフェクトAPIが導入されます詳しくは「Create custom hover effects in visionOS」セッションをご覧ください
次にこのゲームの入力メカニズムを定義しましょう
宇宙船で飛び回る準備ができたプレイヤーはボリュームを飛び出して複雑なイマーシブ空間に入ります
ここでは両手を使って宇宙船を操作します左手は宇宙船の飛行速度を制御します親指と人差し指を近づけると飛行速度が増します右手は宇宙船の向きを制御します右手を上に傾けると宇宙船も上向きになります右手を左に向けると宇宙船も左に曲がります
この入力方法を実装するにはプレイヤーの両手を3D空間で追跡する必要があります visionOS 1では ARKitを使用してアプリにカスタムハンドトラッキングを追加することができました今年は RealityKitに新しい Spatial Tracking APIが導入されたのでこのタスクをさらに簡単に行えます
SpatialTrackingSessionはプレイヤーからハンドトラッキングの同意を得るのに役立ちますこれを設定すれば RealityKitのアンカーエンティティを使用してプレイヤーの両手を追跡できます左手については 2つのアンカーエンティティを作成します人差し指の先と親指の先です
カスタムシステムのupdate関数内でこれらのアンカーエンティティの位置を Entity.position APIを使用して照会します 2つのアンカーエンティティ間の距離を計算した後カスタム関数を使用してその距離をスロットル値にマッピングします距離が短いほどスロットルが大きくなります最後にこのスロットル値に基づいて宇宙船を加速します宇宙船の進行方向の力ベクトルを計算しその力をspaceshipエンティティに追加します右手の制御についても同様のコードで実装できますこのセッションにリンクされているサンプルコードをご覧ください
右手と左手両方のカスタムジェスチャを実装したのでプレイヤーは自分の手を使って宇宙船を飛ばすことができます
素晴らしいですね！ SpatialTrackingSession APIの詳細は Adrianのセッション「Build a spatial drawing app with RealityKit」をご覧くださいこれでプレイヤーは自分で操縦できる宇宙船を手に入れましたこのパイロット体験をもっと面白いものにしましょうここでは新しいフォースエフェクトと物理ジョイントのAPIについて説明しますプレイヤーが操縦スキルを磨けるようにするため宇宙空間に惑星と小惑星を追加しましたしかし静止した物体を避けながら飛行するのはそれほど難しくありません小惑星が惑星の周りを周回するようにしてみましょうこれは現実世界の天体の動きを模倣していますフォースエフェクトAPIはこのようなシミュレーションを導入する際に役立ちますフォースエフェクトはボリュームを定義しそのボリューム内の物体に継続的に力を加えますこの惑星の場合周囲の小惑星を中心に引き寄せるフォースエフェクトが必要です
RealityKitには4種類のフォースエフェクトが組み込まれていますどれがニーズに合うか見てみましょう Constant radialエフェクトはすべての物体に対して一定の力を中心に向かって加えます vortexエフェクトは軸を中心に物体を周回させる力を加えます Dragエフェクトはそれぞれの速度に比例する力を加えボリューム内で物体を減速させます Turbulenceエフェクトは物体にランダムな力を加えます私たちのニーズに最も近いのは Constant radialエフェクトですが惑星がすべての小惑星にまったく同じ大きさの力を加えるのではなく惑星からの距離に応じて加える力の大きさを変える必要があります RealityKitでカスタムのフォースエフェクトを定義すればこれを実現できます
ここではGravityというクラスを定義しここにカスタムフォースエフェクトのロジックを記述していきますカスタムフォースエフェクトはすべて ForceEffectProtocolに準拠しますこれには3つの要件があります parameterTypes、forceMode update関数です
ParameterTypesはこのフォースエフェクトの計算するために必要なパラメータを物理エンジンに伝えるのに役立ちます重力エフェクトでは位置と距離が必要になります forceModeはこのエフェクトで生じる力ベクトルを物理エンジンがどのように解釈するかを制御します重力の場合単にforceに設定します
最後に update関数では実際の力ベクトルを計算します parameters構造体は力の計算に必要な情報を提供します
まずこの構造体から距離と位置を取得します次にこのフォースエフェクトの影響を受けるすべての物理ボディをループ処理しますここでは惑星の周りを公転する小惑星です指定された距離と位置の値を使用して力ベクトルを計算するカスタム関数を定義します parameters構造体に力を設定してその結果を出力します物理エンジンはこの力を物理ボディに適用しますこれでカスタムフォースエフェクトを作成できました次にシーンでこれをアクティブにしましょう
まず Gravityのインスタンスを使用して ForceEffectオブジェクトを作成しますここでは spatialFalloffを設定して惑星から半径8m以内の物理ボディにのみ影響が及ぶようにしますさらに小惑星にのみ影響するようにマスクを設定します
最後に ForceEffectComponentを使用して重力フォースエフェクトを planetエンティティに追加します
重力エフェクトの動きを見てみましょう
重力エフェクトは間違いなく作用していますが小惑星を公転運動させるのではなく中心に向かって直線的に引き寄せていますこれを修正するには小惑星が軌道を描いて回るように初速度を与える必要があります惑星の重力によって小惑星はその方向に引き寄せられます惑星の引力を相殺する速度を設定すれば軌道運動を実現できます
小惑星を生成する時の軌道速度を計算してみましょう惑星から小惑星までの半径と角度を使用すれば初速度を計算できます次に PhysicsMotionComponentを使用してこの初速度を小惑星に設定しますどうなるか見てみましょう
いいですね小惑星が惑星の周りを公転するようになりましたパワフルなフォースエフェクトAPIによりカスタムフォームエフェクトを 1つ利用するだけでこの軌道運動を実現できましたこれで挑戦しがいのある小惑星障害物コースを作成できました次は宇宙船の後ろにトレーラーを追加してプレイヤーがコースを飛行しながらが宇宙貨物を運べるようにしましょう
宇宙船にトレーラーを追加する最も簡単な方法は trailerエンティティを宇宙船の子にすることですただしこの場合宇宙船とトレーラーの接続に柔軟性がなくなります物理ジョイントを使用すればこの接続に遊び心を加えることができますジョイントは2つの物理ボディを拘束によって結合します
回転は可能だが並進運動を制限するジョイントを作成しましょうこれは現実世界のトレーラーの動きと同じですこのジョイントを使用すればトレーラーのけん引をよりリアルで愉快に表現できます
ジョイントを作成するにはエンティティにピンを追加する必要がありますピンはエンティティを基準に位置と方向を定義します 1つのジョイントは2つのピンをつなぎ合わせますこれらのピンはそれぞれ宇宙船の後部とトレーラーの前部にあります
ここで必要なのは2つのピン間の並進運動を 0に制限するジョイントですさらに 3本の軸を中心に回転する余裕も残しておく必要があります
フォースエフェクトと同様 RealityKitにはいくつかのジョイントが組み込まれています制約がない場合ジョイントの2番目のエンティティは 3本のどの軸についても自由に並進または回転することができます組み込みのジョイントは 2番目のエンティティの並進運動または回転運動に拘束を適用します詳しく見てみましょう
固定ジョイントでは並進も回転もできません球面ジョイントの場合並進は不可能ですが Y軸とZ軸を中心に限定的に回転でき X軸を中心に自由に回転できます
回転ジョイントは球面ジョイントと似ていますが動きがより制限され X軸を中心にのみ回転できます直進ジョイントはスライドジョイントとも呼ばれ X軸に沿った並進運動のみが可能になりますまたディスタンスジョイントの場合 3本すべての軸での自由な動きが可能ですが 2つの物体間の距離が所定の範囲内であることが条件となります
宇宙船とトレーラーの条件を最も満たしているのは球面ジョイントです唯一の違いは X軸を中心とする回転をまったく制限しないことですカスタムジョイントタイプを使用すればこのニーズを満たすことができます
その方法を見ていきましょう Reality Composer Proで宇宙船に Hookエンティティを追加しましたこれによってピンの配置が定義されるので変形をハードコードする必要がありませんコードにhookEntityが追加されています宇宙船を基準とする hookEntityの位置を取得します
次に pins.set APIを使用して spaceshipエンティティに hookPinを作成しますその際ピンの位置として fookOffsetを使用しますトレーラーのピンについても同じことを行います
次に 2つのピンを接続するカスタムジョイントを作成しましょう
カスタムジョイントにより 3本すべての軸を中心とする円運動を個別に拘束できます円運動が狭い範囲で拘束されるように設定します X軸を中心とする円運動をさらに制限してトレーラーが上下に回転しすぎないようにします
回転運動と同様 3本の軸に沿った直線運動も個別に制御できます並進運動は不要なので 3本すべての軸に沿った直線運動を固定として設定します
最後にこのジョイントを有効にするため物理シミュレーションに追加します
カスタム物理ジョイントを使用することで宇宙船にけん引されるトレーラーが物理法則に従うようになりましたいいですね！次は宇宙船にヘッドライトを追加してプレイヤーの操縦体験を向上させましょうヘッドライトは近くの物を照らすだけでなく影もキャストしますそのためプレイヤーは障害物までの距離を簡単に確認できるようになりますこれを実現するにはダイナミックライトと影を使用しますこれらは今年visionOSに導入された機能です RealityKitには 3種類のライトが用意されていますスポットライトは円すい形の光でオブジェクトを照らします角度距離減衰量をカスタマイズできますディレクショナルライトはシーン内のすべてのオブジェクトを照らしますポイントライトは複数のオブジェクトを照らします
減衰半径とフォールオフ指数をカスタマイズできます
これら3種類のライトはすべて色と強度をカスタマイズできますただし影をキャストできるのはスポットライトとディレクショナルライトのみですライトと影のレンダリングは負荷が高いためこれらを取り入れる時はアプリのパフォーマンスを頻繁にチェックすることをお勧めします
宇宙船の前面にスポットライトを取り付けましょう強力なヘッドライトがあれば宇宙船の近くにあるオブジェクトを見分けることができますライトと影を追加するには 2つの方法がありますコードでSwift APIを使用するかまたはReality Composer ProのUIでライティングの動作を調整します Swiftコードで追加する方法を見ていきましょう Reality Composer Proで宇宙船のフックのエンティティを設定したときと同様新しいheadlightエンティティを追加してライトの変形を定義しますコードではこのheadlightエンティティは spaceshipエンティティ階層にありますこれにスポットライトをアタッチします
スポットライトは黄色に設定されています強度を10000ルーメンに設定し減衰半径を6に設定しますこのシーンではこれらの値が適しています
このスポットライトでは影をキャストしたいので Shadowコンポーネントを作成してこのエンティティに追加します
結果を見てみましょうヘッドライトと影により宇宙船が小惑星に近づきすぎているときはすぐにわかるようになりました
ダイナミックスポットライトとディレクショナルライトで照らされるすべてのオブジェクトはデフォルトで影をキャストします影をキャストしたくないオブジェクトがある場合はそのオブジェクトに DynamicLightShadowComponentを追加し castsShadowを「false」に設定しますこのビデオでは小惑星の castsShadowが無効になっていますこのゲームをプレイするのが楽しみになってきました宇宙船をはるか遠い宇宙空間へワープさせるポータルを追加すればさらに魅力が増すはずですポータルAPIを使用してこれを実装しましょうこのAPIには新しい多数のエキサイティングな機能強化が追加されていますこれも皆さんのフィードバックのおかげですポータルはメッシュサーフェスを使用して別世界へ通じる窓を開きますこの世界のすべてのエンティティはポータルジオメトリによってマスクされます惑星を取り囲む小惑星は円形ポータルサーフェスの内側でのみレンダリングされていることがわかります
ポータルの構築方法について詳しくは WWDC23のセッション「Enhance your spatial computing app with RealityKit」をご覧ください visionOS 1ではオブジェクトはポータルの完全に内側または完全に外側に配置されますこのRealityKitリリースではポータルクロッシング機能が追加されオブジェクトがポータルサーフェスをスムーズに横断してポータルに入ったりポータルから出たりできるようになりましたこのビデオの2台の宇宙船のうち左側はポータルクロッシングが無効なためポータルから出るとマスクされます右側の飛行船はポータルクロッシングが有効なのでポータルからスムーズに飛び出すことができますポータルクロッシングを有効にするには 2か所で設定する必要がありますまず portalコンポーネントの作成時にクロッシングモードを設定しますこのモードをplaneに設定してクロッシングを有効にするかまたはdisabledに設定してクロッシングを無効にします平面を使用する場合はポータルジオメトリ自体と一致させますこのゲームではポータルと一致する平面は正のZ平面ですポータルクロッシングに加えポータルのクリッピング平面も定義できるようになりましたこれも正のZ平面に設定します
もう1つの設定項目は spaceshipエンティティに関してですポータル世界のエンティティはデフォルトでポータルクロッシングが有効になりません宇宙船でこの機能を有効にするため PortalCrossingComponentを追加しますこれで宇宙船がポータルに飛び込めるようになりました
宇宙船がポータルを通過するとき 1つ気になる点がありますポータルクロッシング平面での宇宙船のライティングが少し不自然なようです宇宙船の翼のところです
強烈な光の遮断はポータル内外の様々な照明環境によって発生しますポータルクロッシングが有効なモデルの場合ポータル内ではカスタムのImageBasedLightComponentによって照らされます例としてstar fieldの画像を使いましょう
モデルがポータルの外側にある場合物理的な環境の照明に近い環境プローブからの照明も受けます
オブジェクトがポータルを通過するときはポータルの内部と外部が同時に存在することになります内部はポータルの ImageBasedLightComponentから star fieldによって照らされますポータルの外部は 2つの光源の組み合わせによって照らされます star fieldと環境プローブです
ライティングをよりスムーズに変化させるため EnvironmentLightingConfigurationComponent を使用できますこのコンポーネントではポータルの外側の部分についてエンティティが環境プローブから受け取る照明の量を environmentLightingWeight値で制御します値1の場合環境プローブのフル照明がオブジェクトに適用され値0の場合は環境プローブの照明がまったく適用されません宇宙船がポータルの外側にある時 environmentLightingWeightを1に設定すると外部の照明を受けることができます宇宙船がポータルに近づくにつれてこの値を1から0に徐々に小さくし宇宙船がポータルを通過する時ポータル世界の内側からのみ光を受けるようにしますこれをコードで実現するには EnvironmentLightingConfigurationComponent を作成しますポータルサーフェスから宇宙船までの距離を追跡しカスタム関数を使用してその距離値を環境照明の重み値にマッピングします距離が縮まり宇宙船がポータルに近づくほど重み値が小さくなります宇宙船が移動するたびに重みを再計算し spaceshipエンティティのコンポーネントを更新する必要がありますこのコードを実行してみましょう
素晴らしい！宇宙船がポータルサーフェスに近づく時船体に当たる照明がスムーズに変化しています EnvironmentLightingConfigurationComponentはアプリのライティングを設定するためのパワフルな方法ですアプリでポータルを使用しない場合でも役立ちます
新しいポータルの機能強化について詳しくは developer.apple.com/jpで PortalComponentに関するドキュメントをぜひご覧ください
素晴らしい！これで visionOSで動作するフル機能の宇宙船ゲームを構築できました両手を使った入力フォースエフェクトジョイントライトと影ポータルがすべて適切に機能していますこの宇宙船体験を様々なプラットフォームで提供できたら素晴らしいと思いませんか？このリリースのRealityKitでは開発した空間コンピューティング体験を visionOSからiOS iPadOS macOSへシームレスに移行できるようになりました最小限のコード変更で他のAppleプラットフォームでも同じ体験を提供できます Appleでは多数のRealityKit機能を対象にこのサポートを追加しこのプロセスをシームレスに行えるようにしていますこれには RealityView ShaderGraph パーティクルエミッタポータルホバーエフェクトテキストなどが含まれますクロスプラットフォームのツールやパイプラインを開発しアプリ開発の促進に役立てることもできますではいくつかのクロスプラットフォーム機能を使用して宇宙船ゲームを iPadOSに移行してみましょう広範なクロスプラットフォームのサポートにより宇宙船ゲームのほとんどのコードは何も変更する必要がありませんホバーエフェクトフォースエフェクトジョイントライトと影ポータルクロッシング用に記述したコードはすべてそのままで使用できますでは変更する必要があるのは？
まずvisionOSではプレイヤーの周囲の独立したウインドウにUIをレイアウトできます iPadOSでは UIを画面上に直接配置します次に visionOSでは空間体験の入力ポイントとして ImmersiveSpaceを使用します iPadOSでは RealityViewを使用して画面上に直接空間体験を表示できます
RealityViewはiOS iPadOS macOSで利用できますこれにはカメラモードの制御や後処理などの新機能が含まれていますカメラフィード付きのワールドトラッキングをバックグラウンドとして使用しましょうそのためにはRealityViewのカメラモードをワールドトラッキングに設定します
最後に visionOSではハンドトラッキングベースの入力を使用して宇宙船を操縦します iPadOSでは Multi-Touchジェスチャを入力パラダイムとして使用するとこのプラットフォームの強みを活かすことができます新しいMulti-Touchコントロールビューを使って Multi-Touchベースの入力に移行します左側のスライダでスロットルを制御し右側のバーチャルジョイスティックでピッチとロールを制御します右手と左手の役割を分けることで visionOSの入力スキームに適切に対応させることができますこれらの変更により宇宙船ゲームを iPadで楽しめるようになります visionOSの場合と同じようにここでも RealityKitのすべての機能を利用できます格納庫ビューを表示して同じドラッグジェスチャで宇宙船を操作したりワールドトラッキングとカメラフィードをバックグラウンドとして使用し物理的な環境で宇宙船を飛行させたりできます複数のプラットフォームにわたる RealityKitの機能同一性により visionOS iOS iPadOS macOSで同じアプリを簡単に実行させることができます
素晴らしいですね！これで機能豊富な宇宙船ゲームを visionOSだけでなくiPadOSでも楽しめるようになりましたここでは宇宙船ゲームのシミュレーションとレンダリングの構築に焦点を当てましたがまだサウンドがありません同僚のJamesがこのゲームの空間オーディオの作成方法を説明しています「Enhance your spatial computing app with RealityKit audio」セッションをご覧ください RealityKitのオーディオAPIの使用方法に加え空間オーディオの構築に関するベストプラクティスも紹介していますこのセッションでは取り上げませんでしたが RealityKitには他にも様々な機能がありますその一部を簡単にご紹介します LowLevelMeshとLowLevelTextureはメッシュ／テキストリソースを構築や更新するための低レベルのアクセスを提供しますアニメーションシステムには Reality Composer Proでのアニメーションタイムラインの作成など新たな多数の機能が用意されています BillboardComponentにはプライバシー保護の方法が導入されエンティティが常にユーザーに対面するようになりました PixelCastではレンダリングベースのアプローチによりピクセル単位で最適なエンティティを選択できますサブディビジョンサーフェスを使用すると高密度のメッシュを作成しなくても滑らかな表面をレンダリングできますこれらの機能について詳しくは developer.apple.com/jpをご覧ください沢山ありますね本日の内容を振り返りましょうまず宇宙船にカスタムのホバーエフェクトを追加しましたまた新しい空間トラッキングAPIを使用してハンドジェスチャベースの制御メカニズムを独自に構築し飛行船を操縦できるようにしましたフォースエフェクトとジョイントを使用してシーンに物理的な動きを加えより楽しいゲームにしましたさらにダイナミックライトと影を使用してより刺激的な体験を実現しましたまたポータルクロッシングを導入して宇宙船が宇宙へ飛び出せるようにしました最後に RealityKitのクロスプラットフォームAPIを使用して宇宙船ゲームをiPadへ移行しました「Build a spatial drawing app with RealityKit」セッションと「Enhance your spatial computing app with RealityKit audio」セッションで今年 RealityKitに追加された他の様々な新機能をご確認くださいこれらの機能を活用して皆さんが素晴らしい体験を作り上げるのを楽しみにしていますありがとうございました

4:24 - Add a highlight HoverEffectComponent

// Add a highlight HoverEffectComponent 

let highlightStyle = HoverEffectComponent.HighlightHoverEffectStyle(color: .lightYellow, 
                                                                    strength: 0.8)
let hoverEffect = HoverEffectComponent(.highlight(highlightStyle))
spaceship.components.set(hoverEffect)

5:55 - Add a shader effect

// Add a shader effect

let hoverEffect = HoverEffectComponent(.shader(.default))
spaceship.components.set(hoverEffect)

8:04 - Control acceleration with left hand

// Control acceleration with left hand

class HandTrackingSystem: System {

    func update(context: SceneUpdateContext) {
        let indexTipPosition = indexTipEntity.position(relativeTo: nil)
        let thumbTipPosition = thumbTipEntity.position(relativeTo: nil)

        let distance = distance(indexTipPosition, thumbTipPosition)

        let throttle = computeThrottle(with: distance)

        let force = spaceship.transform.forward * throttle
        spaceship.addForce(force, relativeTo: nil)
    }
}

10:50 - Adding a gravity force effect

// Adding a gravity force effect

struct Gravity: ForceEffectProtocol {

    var parameterTypes: PhysicsBodyParameterTypes { [.position, .distance] }
    var forceMode: ForceMode = .force

    func update(parameters: inout ForceEffectParameters) {
        guard let distances = parameters.distances,
              let positions = parameters.positions else { return }

        for i in 0..<parameters.physicsBodyCount {
            let force = computeForce(distances[i], positions[i])
            parameters.setForce(force, index: i)
        }
    }
}

12:14 - Activating the gravity force effect

// Activating the gravity force effect

let gravity = ForceEffect(effect: Gravity(),
                          spatialFalloff: SpatialForceFalloff(bounds: .sphere(radius: 8.0)),
                          mask: .asteroids)

planet.components.set(ForceEffectComponent(effects: [gravity]))

13:11 - Using PhysicsMotionComponent

// Calculate initial velocity of the asteroid using radius and angle

let velocity = calculateVelocity(radius, angle)

let physicsMotion = PhysicsMotionComponent(linearVelocity: velocity)
asteroid.components.set(physicsMotion)

16:19 - // Add a custom joint

// Add a custom joint

guard let hookEntity = spaceship.findEntity(named: "Hook") else { return }
let hookOffset: SIMD3<Float> = hookEntity.position(relativeTo: spaceship)

let hookPin = spaceship.pins.set(named: "Hook", position: hookOffset)
let trailerPin = trailer.pins.set(named: "Trailer", position: .zero)

var joint = PhysicsCustomJoint(pin0: hookPin, pin1: trailerPin)

joint.angularMotionAroundX = .range(-.pi * 0.05 ... .pi * 0.05)
joint.angularMotionAroundY = .range(-.pi * 0.2 ... .pi * 0.2)
joint.angularMotionAroundZ = .range(-.pi * 0.2 ... .pi * 0.2)

joint.linearMotionAlongX = .fixed
joint.linearMotionAlongY = .fixed
joint.linearMotionAlongZ = .fixed

try joint.addToSimulation()

19:12 - // Add a spotlight with shadow

// Add a spotlight with shadow

guard let lightEntity = spaceship.findEntity(named: "HeadLight") else { return }

lightEntity.components.set(SpotLightComponent(color: .yellow, 
                                              intensity: 10000.0, 
                                              attenuationRadius: 6.0))

lightEntity.components.set(SpotLightComponent.Shadow())

20:01 - Disable shadow

// Disable shadow

let component = DynamicLightShadowComponent(
                    castsShadow: false)

entity.components.set(component)

21:36 - Enable portal crossing

// Enable portal crossing

portal.components.set(PortalComponent(target: portalWorld,
                                      clippingMode: .plane(.positiveZ),
                                      crossingMode: .plane(.positiveZ)))

spaceship.components.set(PortalCrossingComponent())

24:33 - Configure environmental lighting on the spaceship

// Configure environmental lighting on the spaceship

var lightingConfig = EnvironmentLightingConfigurationComponent()

let distance: Float = computeShipDistanceFromPortal()
lightingConfig.environmentLightingWeight = mapDistanceToWeight(distance)

spaceship.components.set(lightingConfig)

27:21 - World tracking camera

// World tracking camera

RealityView { content in

#if os(iOS)

    content.camera = .worldTracking

#endif

}

27:59 - Multi-touch control views

// Multi-touch control views

#if os(iOS)

struct MultiTouchControlView : View {

    var body: some View {

        HStack {

            ThrottleControlView()

            Spacer()

            PitchRollControlView()

        }
    }

#endif

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

関連する章

リソース

関連ビデオ

WWDC24

WWDC23

WWDC21