RealityKitオーディオで空間コンピューティングアプリの質を向上

RealityKitオーディオで空間コンピューティングアプリの質を向上

RealityKitオーディオを使用して、空間コンピューティング体験を向上させましょう。空間オーディオにより、イマーシブな3D体験がどのように実現されるかをご紹介します。環境音やリバーブから、3Dコンテンツに個性を加えるリアルタイムの音声手順ガイドまで、アプリをより魅力的にするRealityKitオーディオAPIについて詳しく説明します。

関連する章
- 0:00 - Introduction
- 2:01 - Spatial audio
- 11:43 - Collisions
- 16:57 - Reverb presets
- 18:24 - Immersive music
- 20:41 - Mix groups
リソース
関連ビデオ

WWDC24
ダウンロード

こんにちは RealityKit AudioチームのJamesです今日は新しいRealityKit Audio API についてお話ししますこれにより空間コンピューティングの体験がよりインタラクティブでイマーシブなものになります同僚のYidiは現実環境にいながら仮想宇宙船を飛ばすゲームを開発していますしかも現実環境だけでなくカスタム仮想環境でもさらにはポータルを通じて宇宙空間にも飛び込めるのですこのアプリでは新しい SpatialTrackingService APIを使って手の動きをなめらかにトラッキングし宇宙船を操縦します
さらにフォースエフェクトのような新しい物理的機能を使用して徐々に難度が増す小惑星群が作り出されます
そして貴重な貨物を運ぶトレーラーを取り付ける物理ジョイントを使って激しく飛ぶと揺れ動くようにすることができますまた新しいポータルクロッシングコンポーネントを使ってポータルを通じて宇宙船を宇宙空間に出入りさせることができます
これらの新機能のそれぞれがバーチャルとリアルの間でダイナミックな相互作用を生み出します
このゲームの構築方法について詳しくは「Discover Reality Kit APIs for iOS, macOS, and visionOS」のセッションをご確認くださいこのセッションでは RealityKit Audioのパワーを使ってゲームをさらにイマーシブでインタラクティブなものにしていきます具体的に見ていきましょう
このセッションのリンク先からサンプルプロジェクトをダウンロードできますまず音声ファイル再生とリアルタイム生成オーディオを使って宇宙船に空間オーディオを追加します次にバーチャルオブジェクト間やバーチャルと実物のオブジェクト間の衝突音に空間オーディオを追加しますそれからリバーブを追加してイマーシブ環境を作り宇宙船と一緒にユーザーを新しい空間にいざないますそして音を再生する環境音を使って雰囲気を設定します最後にユーザーがオーディオミックスグループを使って好みに応じて音を調整できるようにしますではまず宇宙船自体のオーディオから始めましょう宇宙船には視覚を反映した多層のサウンドデザインがあります
2つのエンジンが搭載されており各エンジンには蒸気跡排気装置そしてタービンがあります視覚的には蒸気跡はスロットルの高さにかかわらず放出され排気装置はスロットルが上がるにつれて長くなりますタービンは宇宙船の本体に収められているため視覚的には見えませんが音のデザインを使って見えない部分を表現することができます蒸気跡には柔らかいノイズ音を再生しスロットルの高さにかかわらず一定の音量を保ちます排気装置にはスロットルが上がるにつれて音が大きくなる強力なノイズ音を再生しますタービンにはスロットルに依存したパラメータを持つ動的に生成された音を再生しますちょっと聞いてみましょう
最初に蒸気跡のオーディオ再生です反対方向に回転させると少し静かになり音が暗くなります次に排気装置をオンにしてスロットルを操作しますスロットルが上がるにつれて音が大きくなるのがわかります
この仕組みをコードで見てみましょう
アプリのバンドルから蒸気跡のオーディオファイルをロードしますそしてEntity.playAudioを使用してすぐにエンジンエンティティから再生します
RealityKitのオーディオ再生はデフォルトで空間的ですわずか数行のコードでオーディオが6つの自由度でレンダリングされ自分や音源が動いたり回転したりするとそのレベルとトーンが更新されます物理ベースの距離減衰があり音源が離れると自然に音が小さくなります
最後に空間オーディオの音源にはリバーブが適用され現実環境からリアルタイムでシミュレートされます
注意点として空間オーディオで再生される音は空間化される前にシングルモノチャンネルにミックスダウンされます予期しないミックスダウンのアーティファクトが空間レンダリングに追加されないようモノファイルを作成することをお勧めします
蒸気跡のオーディオファイルは短くシームレスにループするよう作成されておりポップやクリック音がありません AudioFileResource.Configurationの shouldLoopプロパティを設定するとこの短いファイルを連続的なノイズ音であるかのように再生できます
同じ短いループファイルを両方のエンジンから再生します shouldRandomizeStartTime プロパティを設定して両方のエンジンが音を出すときにファイルの異なる位置から再生を開始しますループと再生開始時刻のランダム化の組み合わせを使用することでリソースを効率的に利用しながら豊かなオーディオ体験を提供できますノイズの蒸気跡のオーディオファイルはシームレスにループするよう作成されておりつまり突然開始されますオーディオ体験を高めるためオーディオをフェードインさせてみます Entity.playAudioメソッドから返される AudioPlaybackControllerを保持します
AudioPlaybackControllerは特定のサウンドイベントインスタンスのリモートコントロールのようなものでエンティティから再生される AudioResourceのインスタンスです Entity.playAudioまたは Entity.prepareAudioを呼び出すたびに AudioPlaybackControllerが返されますこれを保持して設定や再生ポーズ停止などのトランスポートコントロールに使用できますゲインを-.infinityに設定します AudioPlaybackControllerのゲインプロパティは相対的なデシベル単位であり -.infinityは無音ゼロは名目上の音量ですすべての音は最大ゼロデシベルに制限されています
次に AudioPlayback Controller.fade (to:duration:)メソッドを呼び出し 1秒でゼロデシベルにフェードインさせます
蒸気跡のオーディオは再生されていますが宇宙船を飛ばすときは自然でダイナミックな音にしたいですよね例えば宇宙船がエンジンをこちらに向けている場合はエンジン音を細かく聞きたくなりますがエンジンが背を向けている場合は音を抑え暗くする必要がありますエンジンの空間レンダリングは SpatialAudioComponentと指向性で指定します
まず新しいEntity()を追加しこれをaudioSourceとして表現します次にこれをエンジンの子として追加しますそれからエンジンではなく audioSourceからオーディオを再生します
audioSourceエンティティに SpatialAudioComponentを設定し SpatialAudioComponentの指向性をフォーカス0.25のビームパターンに設定します指向性は空間オーディオの音源からの音のプロパゲート方法を定義しますビーム指向性パターンは 0から1の範囲で動作し 0は全方向性つまりすべての方向に同じトーンで音がプロパゲートし 1は音の後方が前方よりも静かで暗くなるタイトなビームパターンになります
最後に音がエンジンの排気装置から出るように audioSourceを回転させますこれで船が回転すると音のレベルとトーンが変化するのが聞き取れます
SpatialAudioComponentを使うと空間オーディオの音源の指向特性を指定できますまたエンティティから発生するすべての音イベントの音量を設定できます Componentプロトコルに準拠しているため SpatialAudioComponentを使うとカスタムシステムのコンテキストで動的に音源の音量を簡単に操作できます例えば単一のスロットル値が宇宙船の物理グラフィックスオーディオを左右しますエンジンの排気音はスロットルが0のとき無音でスロットルが1のとき最大音量になりその間の中間値がなめらかに計算されますカスタムオーディオシステムが更新のたびにスロットル値を読み取り線形スロットル値から対数デシベルに値をマッピングし SpatialAudioComponentのゲインプロパティをデシベル値で更新します宇宙船のオーディオ実装はさらにダイナミックなものに進化してます宇宙船が飛ぶと指向性パターンによって音量とトーンが変わるのが聞こえますスロットルが上がったり下がったりすると排気音が大きくなったり小さくなったりします青い光とノイズの背後には一対のタービンがあります目には見えませんがスロットルが上がったり下がったりすると速く回転したり遅くなったりするのが聞こえます
Hangarビューで宇宙船のタービンを回してその音を聞いてみましょうスロットルに合わせて音の周波数が変わるのに注目してください
これをコードでどのように実現するか見てみましょう
エンジンの一つを表すエンティティを引数に取るメソッドから始めます次に Entity.playAudioメソッドのバリアントを呼び出しますこのエンティティから音源を再生するのではなくコールバックを提供しオーディオシステムによって表示されるバッファに直接サンプルを書き込みますこのバリアントのEntity.playAudioは AudioGeneratorControllerを返しますオーディオがストリーミングを続けるにはアプリがこれを保持する必要があります
AudioGeneratorControllerで書き込まれたオーディオバッファはエンティティで再生されるオーディオリソースと同じように動作します再生はデフォルトで空間的ですがエンティティ上の空間オーディオ環境オーディオチャネルオーディオのコンポーネントを設定しバッファのレンダリングをコントロールすることができますこれはオーディオファイルの再生と同じように行うことができます
アプリには AudioUnitTurbineというカスタムaudioUnitがありますこのAudioUnitには Objective-Cインターフェイスがありそのレンダーブロックにはリアルタイムセーフなコードがあります AudioUnitTurbineは 0から1の範囲の単一のスロットル値を持ち audioUnitの実装はこの値を使って複数のオシレーターを駆動しますまずオーディオユニットをインスタンス化します次に AudioGeneratorControllerの設定を準備しますその後 audioUnitの出力のフォーマットを作成しそれを audioUnit.outputBussesに設定します audioUnitのレンダーリソースを割り当て audioUnit.internalRenderBlockをキャプチャします次に AudioGeneratorControllerをオーディオジェネレータの設定で構成します
最後に audio generatorのコールバックで提供されたオーディオデータに対して audioUnit.internalRenderBlockを呼び出します
AudioGeneratorControllerを使用したリアルタイムオーディオは Appleが提供するオーディオユニット自作のカスタムオーディオユニットまたは自作のオーディオエンジンの出力からオーディオをパイプすることができますオーディオは RealityKitやvisionOSが提供するレイトレース空間オーディオによってレンダリングされますどのように作成したサウンドもシステムの他のサウンドと一貫した共有スペースおよび混合スペース段階的なイマーシブスペースフルイマーシブスペースで音響効果を受けます
RealityKitでのオーディオ再生はデフォルトで空間的であり私たちはデフォルトの動作をできるだけ自然にするために多大な労力を費やしていますもちろん私たちの宇宙船は現実と魔法の間を飛び回るので物理学の法則を少しいじることもできます例えば宇宙船が私たちの近くを飛んでいるときキャビンから静かに音楽が流れてくるのが聞こえますちょっと聞いてみましょう
このオーディオトラックをデフォルトの空間オーディオコンポーネントのパラメータで再生すると常にステレオの再生が聞こえます空間オーディオコンポーネントの距離減衰をカスタマイズすることで望む効果を得ることができます
距離減衰をカスタマイズすることで特定の音が音源に非常に近い場合にのみ聞こえるようにすることができますあるいは遠くにいても音が聞こえるようにカスタマイズすることもできます rolloff factorが1の場合空間オーディオとして自然な速さで減衰し rolloff factorを2に設定すると音が自然の速さよりも 2倍の速さで減衰します rolloff factorを0.5に設定すると音が自然の速さの半分のスピードで減衰しますではオーディオの距離減衰を設定してみましょう
ここでは rolloff factor 4で distanceAttenuationを設定し宇宙船が非常に近くに来たときにのみ特定の音が聞こえるようにしましょうこの空間オーディオの音源のゲインを下げて宇宙船が非常に近くに来たときにのみその音が聞こえるようにします次にコンテンツ内のエンティティが衝突したときに音を発する方法を見てみましょうまず聞いてみましょう宇宙船がコンクリートの床や木箱金属の梁またはガラスと衝突する音を聞いてみます
宇宙船は例えば小惑星などの動くバーチャルオブジェクトやセメントの床木製の立方体 Studio環境の金属の梁など静的なバーチャルオブジェクトと衝突するかもしれません混合現実環境では宇宙船が周囲の実物から再構築されたメッシュと衝突する場合がありますこれらの衝突をよりインパクトのあるものにするためにアプリの物理的な素材から得られた情報を基にしたオーディオを統合します
まず CollisionEventsに応答する必要があります .Began衝突イベントを処理するメソッドを書いて 2つのエンティティ間の衝突に関する情報を提供しますすでにロードされている AudioFileResourceを取得してその後衝突した最初のエンティティで再生します
よいスタートですがこれではどのタイプのオブジェクトが衝突しても毎回同じ音が再生されその音量は衝突の強さにかかわらず一定になります AudioFileGroupResourceを使用して実装をさらに洗練させましょう AudioFileGroupResourcesは複数のオーディオファイルリソースで構成されます Entity.playAudioを AudioFileGroupResourceで呼び出すたびにオーディオファイルリソースの中からランダムに選択されて再生されます衝突オーディオには同じ音イベントの微妙なバリエーションのセットをロードできます
これによりオブジェクトが衝突するたびに音が自然に変化します
宇宙船と小惑星は非常にダイナミックであり高速でも低速でも移動できますそのため衝突したときの衝突音の大きさは衝撃の強さを反映させる必要があります
蒸気跡のオーディオをフェードインさせたときのように Entity.playAudioから返されるオーディオ再生コントローラを取得します次に AudioPlaybackControllerのゲインを設定し両方のエンティティの速度から計算されたレベルに設定します
これにより 2つのオブジェクトが高速で正面衝突したときに衝突音がパワフルになります
低速で衝突した場合は衝突音が適切に減衰します
現在の実装では衝突するすべてのオブジェクトに対して同じセットの音を使用しています宇宙船が小惑星やコンピュータの画面または植物と衝突したときに衝突する素材のペアに合わせた音を出すことができます
まずアプリ内で発生すると想定される一連の音を定義します例えば宇宙船はプラスチック製で小惑星は岩でできています Studio環境の平面はすべてコンクリートや木金属ガラスなどの素材でラベル付けされています
アプリ内では AudioMaterial列挙型とエンティティにAudioMaterialを保存するカスタムAudioMaterialComponentを定義します衝突音を発したいすべてのバーチャルオブジェクトに AudioMaterialComponentを設定します小惑星には岩のAudioMaterialを宇宙船にはプラスチックの AudioMaterialを設定します
2つのバーチャルオブジェクトが衝突したときにまずそれらに設定された audioMaterialsを読み取ります次に audioMaterialsのペアリングでインデックスされすでにロードされた AudioFile GroupResourcesのセットから選択しますこれにより宇宙船と小惑星の衝突音はプラスチックと岩の両方から影響を受けますまた宇宙船とこのテーブルの衝突音はプラスチックと木から影響を受けます
現在の実装ではバーチャルオブジェクトが衝突するときに音を出すサポートが追加されています Studio環境内の平面にはすべて素材ラベルが付いているため宇宙船がこれらの平面や物体に衝突したときにカスタムの衝突音を提供する能力が得られましたしかし仮想空間に限定する必要はありませんこれとまったく同じ動作を現実世界の平面や物体にも追加できます現実世界の環境から再構築された ARKitシーンメッシュを使用して部屋の異なる平面や物体を識別するためのメッシュ分類型を提供し宇宙船がそれらに衝突したときに音が再生されるようにすることができますこの動作をどのように実装するか見てみましょう
まず動的オブジェクトが衝突したメッシュの面を特定する必要があります次にこの特定の面のメッシュ分類を読み取りますその後メッシュ分類をカスタムAudioMaterial列挙型にマップしますこれでバーチャルおよび実物のオブジェクトの素材ペアに基づいて正しい音を再生できますこれらの動的オブジェクトが現実世界の周囲と衝突したときに何が起こるか聞いてみましょう宇宙船が衝突する物体によって衝突音が異なることに注意してください例えば宇宙船がテーブルや iMacや椅子と衝突したときの音を聞いてみましょう
いいですね宇宙船を現実世界で飛ばすのは Studioのイマーシブ環境で飛ばすのと同じくらい楽しいですね
仮想空間に入るとバーチャルオブジェクトがカスタムのイメージベースのライトで異なる照明を受ける様子が見られます同じことをオーディオにも適用しましょう仮想オーディオの音源が現在私のいる部屋でなくこの仮想環境に響いているように聞こえるようにします新しいReverbComponentとリバーブプリセットを使えば新しい音響の世界に連れて行ってくれますエンティティ階層内のどこかに ReverbComponentを配置するだけです一度に1つのリバーブがアクティブになりますワークフローに応じて Reality Composer Proでシーンにこのコンテンツを作成することもここで私がしているように RealityKit APIを使用することもできます visionOS 1では RealityKitのすべての空間オーディオサウンドが現実世界のリアルタイムシミュレーション音響によってリバーブされますこれは視覚的パススルーを通じて現実の周囲を見られる混合型のイマーシブなユースケースに適していますそうしたユースケースにおけるオーディオは外観と同様ユーザーのスペースに存在するように聞こえる必要があります
visionOS 2でこれらの新しいリバーブプリセットを使用するとプログレッシブおよびフルイマーシブスペースでユーザーを別世界に連れて行くことができますプログレッシブイマーシブ環境ではイマーシブレベルに応じてユーザーの実際の音響がリバーブプリセットと混ざり合いますフルイマーシブ環境では空間オーディオの音源が ReverbComponentに設定されたプリセットによってのみリバーブされます今年のWWDCの Jonathanのセッション「Enhance the immersion of media viewing in custom environments」をチェックしてください Destination Videoサンプルで Reality Composer Proパッケージにリバーブを作成する方法を確認できますそれでは環境音楽再生で雰囲気を設定する方法を見てみましょう
アプリの特定のフェーズに入るとその時々のムードにあった音楽が再生されます
例えば Joy Rideフェーズでは軽やかで浮遊感のある音楽が空中に浮かんでいるように聞こえますしかしWorkフェーズに移ると音楽はドライブ感を持って再生されます
この宇宙船の重要な特徴は目の前だけでなく周囲を飛び回れることです新しい惑星が背後に出現するかもしれないので周囲の環境を見渡す必要があります音楽は宇宙船がどこに行っても常にあるようにすると同時に特定の方向からではなく全方位から聞こえるようにしますそれによってアプリの広がりがしっかりと伝わるからですまた音源の各チャンネルが仮想空間の固定された方向から聞こえるようにして音が頭の中から聞こえるように感じさせないようにしたいと思います
ここではクアドラフォニックと呼ばれるチャンネルレイアウトで 4チャンネルの音楽トラックを作成しましたこのチャンネルレイアウトでは 4つのチャンネルが周囲に均等に配置されるため映画のような映像向けに設計された他のマルチチャンネルレイアウトに見られる特定の前方方向が際立ちませんまた音楽を作成する際にはチャンネル全体に均等にオーディオ信号が分布するようにしましたそのためどの方向を向いてもバランスの取れたミックスが感じられますまたエンジンのベーパートレイルや排気音と同様音楽トラックもシームレスにループするようにしポップ音やクリック音をなくしました RealityKitを使ってこの音楽トラックをアプリにどのように統合できるか見てみましょう
RealityKitにロードされるマルチチャンネルオーディオファイルにはチャンネルレイアウトが書き込まれている必要がありますそうしないと RealityKitはオーディオファイルの各チャンネルを正しい角度からレンダリングできません loadingStrategyは .preloadではなく.streamに設定しますそれがデフォルトですストリーム読み込み方式ではディスクからオーディオデータをストリーミングしリアルタイムでデコードすることができます一方プリロード読み込み方式ではオーディオデータを読み込みプロセスの一部として読み込みおよびデコードしますストリーム読み込み方式はメモリ使用量を減らす一方で遅延が増加する場合があります私たちの環境音楽には例えば衝突音のような厳密な遅延要件はありませんが環境ファイルはかなり大きいのでこのユースケースにはストリーム読み込み戦略が最適です次に音楽再生エンティティに AmbientAudioComponent()を設定します環境オーディオの音源は 3自由度でレンダリングされます音源とリスナーの回転は考慮されますが位置の変化は考慮されませんアプリにはいくつかの異なるカテゴリのオーディオがありますムードによっては宇宙船からのダイナミックなオーディオと衝突音と音楽を同時に聞きたいこともあるでしょうしかし時には音楽だけを聞きたいこともありますアプリのオーディオミキサーを使えば各カテゴリのオーディオレベルを個別に調整できます飛行の感覚に浸りながら完璧な雰囲気を作り出せます実際に見てみましょう
まず音楽の音量を下げます
次に惑星の音を下げます
そして最後に宇宙船の音を下げます
今度は惑星の音を戻します
そして音楽を加えてミックスを完成させます
ではコードを見てみましょうまず音楽のオーディオリソースを読み込みます AudioFileResourceの構成で mixGroupNameプロパティを「Music」に設定しますこれはオーディオミキサーで調整するミックスグループの名前になりますこれによりアプリ内のすべての音楽リソースのレベルを操作できます次に AudioMixGroupsComponentを保持するエンティティを作成しますミックスグループのレベルが更新されたら AudioMixGroupを作成しそのゲインを設定します最後に AudioMixGroupsComponentを構築し audioMixerEntityに設定しますここで行なったように UIの更新に合わせて AudioMixGroupsComponentを更新できます AudioMixGroupsComponentはコンポーネントプロトコルに準拠しておりカスタムRealityKitシステムの文脈でも簡単に動的に更新することができます
素晴らしいですねオーディオミックスグループを使えばアプリ内の様々な音を制御しムードに応じた体験を生み出すことができます
今回はリアルタイム生成のオーディオによる空間オーディオの音源を使って宇宙船に息吹を吹き込み仮想と現実のインターフェイスを盛り上げる衝突音を作成してきましたその後これらの空間音響をリバーブプリセットでイマーシブな環境に組み入れました最後にオーディオミックスグループを使って音楽と音響の理想的なミックスを作り出しましたみなさんもぜひアプリで遊んでみてください皆さんがRealityKit Audioで作成するものを楽しみにしています

// Vapor trail audio

import RealityKit

func playVaporTrailAudio(from engine: Entity) async throws {
    let resource = try await AudioFileResource(named: "VaporTrail")
    engine.playAudio(resource)
}

4:02 - Make vapor trail audio playback more dynamic

// Vapor trail audio

import RealityKit

func playVaporTrailAudio(from engine: Entity) async throws {
    let resource = try await AudioFileResource(
        named: "VaporTrail",
        configuration: AudioFileResource.Configuration(
           shouldLoop: true,
           shouldRandomizeStartTime: true
        )
    )
    let controller: AudioPlaybackController = engine.playAudio(resource)
    controller.gain = -.infinity
    controller.fade(to: .zero, duration: 1)
  
    let audioSource = Entity()
    audioSource.orientation = .init(angle: .pi, axis: [0, 1, 0])
    audioSource.components.set(
        SpatialAudioComponent(directivity: .beam(focus: 0.25))
    )
    engine.addChild(audioSource)
    let controller = audioSource.playAudio(resource)

}

7:10 - Exhaust audio

// Exhaust audio

import RealityKit

func updateAudio(for exhaust: Entity, throttle: Float) {
    let gain = decibels(amplitude: throttle)
    exhaust.components[SpatialAudioComponent.self]?.gain = Audio.Decibel(gain)
}

func decibels(amplitude: Float) -> Float { 20 * log10(amplitude) }

8:17 - Turbine audio

// Turbine audio

import RealityKit

var turbineController: AudioGeneratorController?

func playTurbineAudio(from engine: Entity) {
    let audioUnit = try await AudioUnitTurbine.instantiate()
    let configuration = AudioGeneratorConfiguration(layoutTag: kAudioChannelLayoutTag_Mono)
    let format = AVAudioFormat(
        standardFormatWithSampleRate: Double(AudioGeneratorConfiguration.sampleRate),
        channelLayout: .init(layoutTag: configuration.layoutTag)!
    )
    try audioUnit.outputBusses[0].setFormat(format)
		try audioUnit.allocateRenderResources()
    let renderBlock = audioUnit.internalRenderBlock
    turbineController = try engine.playAudio(configuration: configuration) { 
        isSilence, timestamp, frameCount, outputData in
        var renderFlags = AudioUnitRenderActionFlags()
        return renderBlock(&renderFlags, timestamp, frameCount, 0, outputData, nil, nil)
    }
}

11:28 - Setting distance attenuation and gain

import RealityKit

func configureDistanceAttenuation(for spaceshipHifi: Entity) {
    spaceshipHifi.components.set(
        SpatialAudioComponent(
            gain: -18,
            distanceAttenuation: .rolloff(factor: 4)
        )
    )
}

12:36 - Loudness variation

// Loudness variation

import RealityKit

func handleCollisionBegan(_ collision: CollisionEvents.Began) {
    let resource: AudioFileGroupResource // …
    let controller = collision.entityA.playAudio(resource)
    controller.gain = relativeLoudness(for: collision)
}

14:44 - Defining audio materials

// Audio materials

import RealityKit

enum AudioMaterial {
    case none
    case plastic
    case rock
    case metal
    case drywall
    case wood
    case glass
    case concrete
    case fabric
}

struct AudioMaterialComponent: Component {
    var material: AudioMaterial
}

14:53 - Setting audio materials

// Setting Audio Materials

asteroid.components.set(
    AudioMaterialComponent(material: .rock)
)

spaceship.components.set(
    AudioMaterialComponent(material: .plastic)
)

15:04 - Handling collision audio

// Audio materials

import RealityKit

func handleCollisionBegan(_ collision: CollisionEvents.Began) {
    guard 
        let audioMaterials = audioMaterials(for: collision),
        let resource: AudioFileGroupResource = collisionAudio[audioMaterials] 
    else {
        return 
    }
    let controller = collision.entityA.playAudio(resource)
    controller.gain = relativeLoudness(for: collision)
}

17:18 - Reverb presets

// Reverb presets

import Studio

func prepareStudioEnvironment() async throws {
    let studio = try await Entity(named: "Studio", in: studioBundle)
    studio.components.set(
       ReverbComponent(reverb: .preset(.veryLargeRoom))
    )
    rootEntity.addChild(studio)
}

20:05 - Immersive music

// Immersive music

import RealityKit

func playJoyRideMusic(from entity: Entity) async throws {
    let resource = try await AudioFileResource(
        named: “JoyRideMusic”,
        configuration: .init(
            loadingStrategy: .stream,
            shouldLoop: true       
        )
    )
    entity.components.set(AmbientAudioComponent())
    entity.playAudio(resource)
}

21:57 - Using AudioMixGroup with a RealityKit entity

// Audio mix groups

import RealityKit

let resource = try await AudioFileResource(
    named: “JoyRideMusic”,
    configuration: .init(
        loadingStrategy: .stream,
        shouldLoop: true,
        mixGroupName: “Music”
    )
)

var audioMixerEntity = Entity()

func updateMixGroup(named mixGroupName: String, to level: Audio.Decibel) {
    var mixGroup = AudioMixGroup(name: mixGroupName)
    mixGroup.gain = level
    let component = AudioMixGroupsComponent(mixGroups: [mixGroup])
    audioMixerEntity.components.set(component)
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

関連する章

リソース

関連ビデオ

WWDC24