MetalレイトレーシングによるAppの強化

MetalレイトレーシングによるAppの強化

Metalグラフィックスフレームワークとシェーディング言語のコア部分であるレイトレーシングを利用することで、Appやゲームで写真のようにリアルな3Dシーンを実現できます。このセッションでは、レイトレーシングの実装における最新の改善点を探り、プロダクションレンダリングプロセスにおけるアップグレードされた点について確認します。また、より詳細なシーンの作成、ネイティブサポートコンテンツとモーションのインテグレーションなどに役立つMetal APIを紹介します。

リソース
関連ビデオ

Tech Talks
- M3とA17 ProでのGPUの進化
WWDC23
- Metalレイトレーシングのガイド
WWDC22
- Metal 3でバインドレスにする
WWDC21
ダウンロード

♪ (Metalレイトレーシングによる Appの強化) WWDCへようこそ AppleのGPU Compilerエンジニアの Juan Rodriguez CuellarですこのセッションではMetalのレイトレーシングAPIに今年追加した新機能について紹介しますその前にレイトレーシングをおさらいしましょうレイトレーシングAppは光線がシーンと相互作用する時にたどる線のトレーシングに基づいていますレイトレーシングはオーディオや物理シミュレーション AIなど多分野で応用されていますが中でも主なものは写実的レンダリングですレンダリングのAppにおいてレイトレーシングは個々の光線のモデルに使われそれにより反射やソフトシャドウ間接照明などの効果をシミュレーションできるようになりますそれがレイトレーシングの一般的な定義ですではMetalのアプローチについてコンピューティングカーネルから説明しますカーネルで光線を生成しそれをシーン内に放射しますまたそれらの光線とシーンのジオメトリとのインターセクションをインターセクターとアクセラレーション構造でテストしますインターセクションポイントはそれぞれ表面からバウンスされる光を表しバウンスする光の量と方向でオブジェクトの見た目を決定しますそして各インターセクションの色を計算し画像を更新しますこのプロセスはシェーディングと呼ばれここでも光線が追加生成される場合がありそれに対してもインターセクションのテストが行われます私たちはシーンの光バウンスをシミュレーションするためこのプロセスを必要なだけ繰り返します今年は3つの主な分野の新機能にフォーカスしていますまずはレンダリングレイトレーシングのレンダリングパイプラインへのサポート追加についてですその後ユーザビリティとポータビリティに特化した新機能を紹介します MetalのレイトレーシングAPIをより使いやすくするものです最後に今年追加したより写実的なコンテンツ作成を可能にするプロダクションレンダリング機能に触れますではレンダリングパイプラインからのレイトレーシングについてです 1つのレンダーパスを持つレンダーの基本的なケースについて考えますレンダリングパイプラインからのレイトレーシング新サポートでレンダーへのレイトレーシング追加がとても簡単になりましたしかしこのサポートがないと昨年のMetalレイトレーシングAPIでこのレンダーにレイトレーシングを追加するにはコンピューティングパスを追加する必要がありますまずはレンダリング後に追加しレンダーされた画像を増強することから始めましょうこの余分なコンピューティングパスを追加するのはレイトレーシングに使うコンピューティングパス用のメモリにさらにアウトプットを書き出すということですではレンダーパスの間にレイトレーシングを使ってピクセルごとのシャドウなどの値を計算したい場合はどうでしょうか？レンダリングを分割しコンピューティングパスを導入する必要がありますその意味をもっと考えてみるとピクセル位置や法線をレイトレーシングへのインプットとしてメモリに書き出し恐らく数回にわたりインターセクション結果を読み返す必要があるということになりますしかし新しいレンダー段階からのレイトレーシングのサポートではレンダーパスを残す必要はなくメモリへアウトプットを書き出すだけですでは新APIの使い方を見てみましょうレイトレーシングをレンダーパイプラインに用意するのはコンピューティングパイプラインに似ていますアクセラレーション構造の構築とカスタムインターセクション関数の定義から始めますカスタムインターセクションのサポートにはインターセクションの関数表とそれをインターセクション関数で埋めることが必要ですこの部分が昨年のAPIとの違いですそのやり方を見ていきましょう単純なインターセクション関数について考えますここには球体や円錐円環などのオブジェクトを分析的に交差できる関数がいくつかありますパイプライン作成時こうした関数をいわゆるリンク関数として追加しますこのケースではパイプラインのフラグメント段階に追加していますこの関数を使うにはインターセクション関数表をパイプラインのステートと段階から作成する必要があります表ができたらパイプラインのステートと段階から関数ハンドルを作り表を埋めることができますフラグメント段階に関数を指定するには昨年導入した linkedFunctionsオブジェクトを再利用しますレンダーパイプライン記述子には段階ごとに独自の linkedFunctionsのセットがありますインターセクション関数表の作成はコンピューティングパイプラインとほとんど同じです段階の増強だけが違いですこの表を埋めるには関数ハンドルを作成しますハンドルは段階に固有のものなのでハンドルリクエスト時に段階を指定する必要があります関数ハンドルを得られたら関数表に挿入するだけですこれだけでレンダーパイプラインに関数表を準備することができますこれまで構築してきたもの全てを使って交差するだけです実用方法はシンプルです accelerationStructureとインターセクション関数表は両方レンダーエンコーダでインデックスをバッファしますそしてシェーダはこれらのリソースを使ってコンピューティングカーネルの時と同じ方法でインターセクターで光線を交差しますレイトレーシングへのパイプラインの準備方法について詳細は昨年のプレゼンテーションをご覧くださいこの動画ではアクセラレーション構造の構築や関数表の作成そしてシェーディング言語でインターセクターを使う方法について学びますレンダーパイプラインからのレイトレーシングサポートで 1つのレンダーパス内でレイトレーシングを追加したりハイブリッドレンダリングでレイトレーシングをラスタライゼーションと組み合わせたり Apple Siliconのタイル関数などの最適化を活用するなどさらなる可能性が開かれています実際 WWDC 2019の「Metalによる最新のレンダリング」でデモを行ったサンプルAppにレイトレーシングを追加していこうと思いますレンダーパイプラインからのレイトレーシングではタイル関数を使って全てをタイルメモリに保存するようコードを更新できます詳細については今年の「Metalレイトレーシングによるハイブリッドレンダリング」をご覧ください次は今年追加した新機能による MetalレイトレーシングAPI のユーザビリティとポータビリティの改善についてですこれらはMetalレイトレーシングを使いやすくするだけでなく他のレイトレーシングAPIからのポータビリティも提供しますその1つがインターセクションクエリですインターセクションクエリではインターセクションの処理をよりコントロールできますインターセクションクエリはインターセクターによりオーバーヘッドが生じている単純なユースケース向けですインラインカスタムインターセクションのテストを実行するオプションを提供するアクセラレーション構造の新しい横断方法です昨年のインターセクターでカスタムインターセクションを処理する現在の方法を見てみましょう昨年のMetalプレゼンでのレイトレーシングのアルファテスト例ではアルファテストを使って沢山の幾何学的詳細を追加する方法が説明されていましたこの鎖と葉の例の通りですまた三角インターセクション関数を使ってインターセクターをカスタマイズすればアルファテストを簡単に実装できることも学びました三角インターセクション関数のロジックは光線がアクセラレーション構造を横断する時にインターセクションを承認するか拒否するかということですこのケースでは1番目のインターセクションを拒否しますが 2番目のインターセクションでは不透明な表面が交差されたのでこれを承認しますインターセクション関数の使われ方を見てみましょうインターセクター使用時に intersect()を呼び出すとアクセラレーション構造を横断してインターセクションを見つけ intersection_resultを埋めますインターセクター内では潜在的なインターセクションが見つかるたびにインターセクション関数が呼び出されますそしてインターセクションはインターセクション関数のロジックに基づいて承認または拒否されます両方とも高性能かつ便利でインターセクターによる素晴らしいプログラミングモデルですが新しいインターセクション関数を作ってパイプラインにつなげる必要がありますインターセクション関数のロジックがほんの数行のコードであるケースもあるかもしれませんアルファテストロジックではそうだからですこれはアルファテスト実行のロジックを含むインターセクション関数ですインターセクションクエリではこのインターセクション関数を必要とせずこのロジックをインラインに配置できますやり方を説明しますインターセクションクエリでインターセクション処理を開始する時光線はアクセラレーション構造を横断しクエリオブジェクトには横断の状態と結果が含まれます光線がカスタムのプリミティブや不透明ではない三角を横断する時インターセクション候補を評価するためにコントロールがシェーダに返されます現在の候補がカスタムインターセクションロジックを横断するとそれをコミットして現在のインターセクションを更新しインターセクション処理を続行します一方候補がカスタムインターセクションロジックに失敗したら無視して続行することができますインターセクションクエリでアルファテストを行うコードをお見せしましょうまず横断を開始します次にループで全てのインターセクション候補を検証します次に候補のタイプをチェックし各候補を検証しますアルファテストの例では関心があるのは三角タイプのインターセクションですタイプをチェックしたら候補のインターセクション情報をクエリします現在はインラインのアルファテストのロジックで必要な情報に 3つのクエリを行います最後にインターセクション候補がアルファテストに合格したらそれをコミットしそれが現在コミットされているインターセクションになりますここまでアクセラレーション構造全体を横断してインターセクション候補を評価しアルファテストロジックに合格したインターセクションをコミットしてきましたここでコミットされたインターセクションの情報をシェーディングのためにクエリする必要がありますまずコミットされたタイプをクエリしますインターセクション候補のいずれもコミットするインターセクションになる条件を満たさないとコミットのタイプはnoneでつまり現在の光線が失われます一方コミットされたインターセクションがある場合インターセクションタイプに当てはまるインターセクションについての情報をクエリしこれをシェーディングに使いますインターセクションクエリでアルファテストを行うのに必要なコードはこれだけですレンダーパイプラインにインターセクションクエリとインターセクターを導入したことで AppでMetalレイトレーシング活用する機会が広がりましたインターセクターオブジェクトとインターセクションクエリのどちらを選ぶかで検討すべき点がいくつかありますまずはコンピューティングでインターセクターを使うなど既存のコードがあるかどうかそしてこのコードをポートする計画についてです他のAPIからの既存のクエリコードがある場合インターセクションクエリでこのコードをポートできます次にカスタムインターセクションの複雑な処理がありますインターセクターはインターセクション関数と表を必要とするのでインターセクションクエリを使ってカスタムインターセクションを自分で処理した方が簡単かもしれません最後に検討すべきはパフォーマンスですよりシンプルなケースではインターセクションクエリでレイトレーシングのパイプライン構築時のオーバーヘッドを避けることはできますがカスタムインターセクションの処理では横断中にコードに戻る必要がありユースケースによってはパフォーマンスに影響することがありますまた複数のクエリオブジェクトを使うとよりメモリが必要になります一方でインターセクターはインターセクション作業を全てカプセル化することでより複雑なケースに対応できます機会があれば両方のソリューションのパフォーマンスを比較してみてくださいインターセクションクエリについては以上ですでは他の新機能について見ていきましょうこれからお話しする2つの新機能はユーザーインスタンスIDとインスタンス変換ですこうした機能によりアクセラレーション構造により多くの情報を追加したりより多くの既存データにアクセスしたりできますこれらがなぜ本当に便利な機能かというと昨年のプレゼンテーションのサンプルコードを振り返るとカーネルボックスのインスタンスが複数ありますこの下にはインスタンスのアクセラレーション構造がインスタンスに達するまで分岐するノードと一緒にありますこれら2つのインスタンスはインスタンスのアクセラレーション構造の最下層レベルにあります現在このインスタンスのいずれかを横断するとインターセクション結果からシステムのインスタンスID しか得られませんこれだと自分のデータ表は維持できますがアクセラレーション構造に表示できる便利なデータがありますまずはユーザー定義のインスタンスIDについてですこの機能では各インスタンスのカスタム32ビット値を指定しこの値をインターセクションの結果の一部として取得できます自分のデータ構造にインデックスできるのは本当に便利ですがこれは同時にカスタムデータのエンコードにも使えます例えばここではユーザーIDで各インスタンスのカスタムカラーをエンコードしていますこれをよりシンプルな反映で追加の素材情報を調べずに使えますこれはただの一例ですがこれによるチャンスは無限大ですインスタンスごとの素材IDやインスタンスごとのフラグなど皆さんがどのようにエンコードしたいか想像がつきます AppleではこうしたIDの指定に使うインスタンス記述子バージョンを拡大しましたインスタンスアクセラレーション構造の記述子でお使いの記述子のタイプを指定するようにしてくださいシェーディング言語では現在のユーザーインスタンスIDの値はインスタンスタグ付きのインターセクション関数へのインプットとして利用できますインターセクション後に値を取得するにはインターセクターオブジェクト使用時にインターセクション結果からユーザー定義のインスタンスIDを得ることができますまたインターセクションクエリオブジェクトを使う時インターセクション候補とコミットされたインターセクション両方のユーザー定義インスタンスIDにアクセスする対応クエリがありますユーザーインスタンスID同様インスタンス変換行列へのアクセスにもサポートを追加しましたこのデータは既にインスタンス記述子に指定されアクセラレーション構造に保存されています今年こうした行列をシェーディング言語から表示しましたインターセクション関数内のインスタンス変換にインスタンス化と world_space_dataタグを適用する際にアクセスできます同様にインスタンス変換はインターセクターをインスタンス化と world_space_dataタグで使う時にインターセクション結果で提供されますインターセクションクエリをインスタンス化タグで使う時インターセクション候補とコミットされたインターセクション両方のインスタンス変換にアクセスする対応クエリがありますまとめると今年こうした機能の導入を通じ MetalレイトレーシングAPI のユーザビリティとポータビリティが改善されましたインターセクションクエリはインターセクターの代替としてインターセクション処理に更なるコントロールを提供しますそしてユーザーインスタンスIDとインスタンス変換機能の導入により外部マッピングをコードで処理することなくアクセラレーション構造からデータにアクセスする能力が実現しましたさらにこの3つの機能は他のレイトレーシングAPI からのポータビリティを提供しクロスプラットフォーム開発を容易にしてくれますこのセッションではここまで今年追加したレンダーパイプラインのレイトレーシングへの新サポートとポータビリティ機能についてお話ししました今度はプロダクションレンダリング強化を目的に導入した機能についてです昨年導入された MetalレイトレーシングAPIによって素晴らしい高品質コンテンツのレンダリングが実現しています今年追加した2つの新機能ではさらに素晴らしいコンテンツのレンダリングを可能にしますまずは制限の延長です MetalレイトレーシングAPI のリリース以来特にプロダクション規模のユーザーケースでアクセラレーション構造の内部制限にぶつかり始めるケースがいくつかありましたそのためより大きなシーンに対応できるよう制限延長モードへのサポートを追加しましたこの制限は昨年典型的なシーンサイズでパフォーマンスを優先できるようアクセラレーション構造のサイズのバランスを取る目的で設けられましたこの機能をオンにするとパフォーマンスが相殺される可能性がありご自分のAppに最適なモードを選択する必要があります制限延長モードではプリミティブやジオメトリインスタンスの数やインスタンス除去に使われるマスクのサイズの上限が上げられていますこれを有効にするにはまずアクセラレーション構造の構築時に制限延長モードを指定しますそしてシェーディング言語のインターセクターオブジェクトで extended_limitsタグを指定しますこれだけで制限延長モードをオンにできます！次はモーションについてですコンピュータグラフィックではカメラの露出が瞬時的だと思われがちですが一方で実生活ではカメラの露出時間はゼロではありません露出時間中オブジェクトがカメラに対して動くと画像の中でぼやけて見えますこの極端な例では真ん中の人物がカメラの露出時間中ずっと静止している一方他の人々は動いていてぼやけていますこの効果はコンピュータ処理の画像をより現実的に見せるのにとても役立ちますこの例では球体が複数のフレームにまたがってアニメ化されていますが各フレームが瞬時露出されていてアニメーションが途切れていますモーションAPIを使うことでゼロ以外の時間で持続するカメラ露出をシミュレーションできますこれでアニメーションがよりスムーズでリアルになります動画を止めてみると球体の境界が本物のカメラで撮った時のように動きの方向にぼやけているのが見えますゲームなどリアルタイムのAppでは画面スペースでこれに近い効果を使用していますがレイトレーシングでは物理的に正確なモーションブラーをシミュレーションしシャドウや反射など非間接的な効果に至るまで使うことができますではモーションブラーがどのようにレンダリングされるか見てみますモーションブラーはレイトレーシングの拡張ですほとんどのレイトレーシングAppは既に間接照明への入射光の方向など物理的なディメンションをランダムにサンプルしていますモーションブラーを加えるには各光線にランダムな時間を選択するだけです Metalはそのシーンをインターセクトし各光線に関連付けられた時点と一致させます例えばこの光線はこのシーンをこんな風にまた別の光線はこんな風に見ていますサンプルをさらに多く集めるとモーションブラー画像の要素が集まりますカスタムのインターセクション関数を使えば今すぐにもこれを実装できます全露出中の各プリミティブの境界ボックスをコンピューティングしこれらの境界ボックスを使ってアクセラレーション構造を構築できますしかしこれだけでは不十分です境界ボックスは巨大になることがあり光線の中には実際に接しないプリミティブとのインターセクションを確認する必要性が発生してしまいますそこでMetal内蔵のモーションブラーサポートが便利ですこうしたケースを効率的に処理するよう設計されていますまずMetalシェーディング言語のコードで各光線にランダムな時間を結びつける必要があります露出間隔内でランダムな時間を生成するところから始めインターセクターに渡すだけです次に必要なのはアニメーションされたジオメトリを Metalに提供することですこれはキーフレームアニメーションという一般的なメソッドを使って行いますアニメーションはキーフレームと呼ばれる時間のキーポイントでボールをモデリングすることで作られますこれらキーフレームはアニメーションの開始と終了間で均一に分布されます光線がアクセラレーション構造を横断する間いつでも時間値に基づいてキーフレームからデータをフェッチすることができます例えば光線Aはキーフレーム11でモデルされた通りにシーンを見ます時間がキーフレーム11に一致しているからです対照的に光線Bの時間はキーフレーム3と4の間です従って2つのキーフレームのジオメトリは光線Bに補間されますモーションはインスタンスとプリミティブレベルの両方でサポートされていますインスタンスアニメーションでは全オブジェクトの厳格な変換に利用できますこれはプリミティブアニメーションより安価ですがオブジェクトの変形が発生しません一方でプリミティブアニメーションはより高額ですがスキンされたキャラクターのアニメーションなどに使えますインスタンスもプリミティブアニメーションもキーフレームアニメーションに基づくことに留意してくださいまずはインスタンスモーションについてですインスタンスアクセラレーション構造では各インスタンスが変換行列と関連付けられていますこの行列はシーンのどこにジオメトリを配置するかを記述しますこの例では 2つのプリミティブアクセラレーション構造があります 1つは球体もう1つは静的なジオメトリ用です各プリミティブアクセラレーション構造には 1つのインスタンスがあり球体をアニメ化するためアニメーションの開始と終了時点を示す 2つの変換行列を提供しますそしてMetalがこの2つの行列を各光線の時間パラメータに基づいて補間しますこれは2つのキーフレームを使った特定の例なのですが Metalは任意数のキーフレームに対応していますこうした行列はアクセラレーション構造記述子を使って提供されます標準のMetalインスタンス記述子には 1つの変換行列の余地しかないので代わりにこの新しいモーションインスタンス記述子を使いますこの記述子では変換行列が別々のバッファに保存されていますそして変換バッファ内のインスタンス記述子は変換バッファ内の変換行列の範囲を示す開始インデックスとカウントを含みます各行列は単一のキーフレームを示しています新しいモーションインスタンス記述子型でインスタンス記述子を設定する方法を見ていきましょうまずいつものインスタンスアクセラレーション構造記述子を作りますそして新しいモーションインスタンス記述子型を使うことを指定しモーションインスタンス記述子を含む instanceDescriptorBufferを指定します最後に各キーフレームの頂点バッファを含む transformBufferをバインドする必要があります残りのプロパティは他のインスタンスアクセラレーション構造と同じで他のアクセラレーション構造と同様に構築できますシェーディング言語で変更を1つ加えますつまり instance_motionタグを指定するだけですこれはインターセクターにインスタンスモーションのアクセラレーション構造を予測するよう伝えるものですインスタンスモーションの設定に必要なのはこれだけですではプリミティブモーションについてですプリミティブモーションでは各プリミティブが別々に動くことができスキンされたキャラクターのアニメーションなどに使えます各キーフレームに別々の 3Dモデルを提供が必要だと覚えておいてくださいするとMetalがその間に補間します各キーフレームに頂点データを提供する必要がありますこれを例に設定方法を見てみましょうまず各キーフレームの頂点バッファを1つの配列に集めます MTLMotionKeyframeData オブジェクトによりバッファとオフセットを指定することができますそれを使って各キーフレームの頂点バッファを指定します次にモーション三角形ジオメトリ記述子を作成しますこれはわずかに異なる型を使うことを除きその他のジオメトリ記述子の作成とよく似ていますそして単一の頂点バッファの代わりに vertexBuffersの配列を提供します最後にいつものプリミティブアクセラレーション構造記述子を作り次にgeometryDescriptor を提供してキーフレーム数を指定しますインスタンスモーションと同様シェーディング言語で少し変更し primitive_motionタグを指定する必要がありますプリミティブモーションの設定に必要なのはこれだけです両方のタイプのアニメーションを同時に使ってよりダイナミックなシーンを作ることもできますではこれを実際のアニメーションで見てみましょうこれはAdvanced Content チームが作成したパストレーシングレンダリングですこの動画はMac Proで AMD Radeon Pro Vega II GPUでレンダリングされましたこの忍者のキャラクターは各プリミティブを別々に動かせるスキンド・スケルタルアニメーションの技法でアニメ化されました各フレームはプリミティブモーションAPIで得られた 256個のランダムにタイムされたサンプルを合わせて作られましたスローにすると違いがはっきりと見て取れます左のバージョンにはモーションブラーがなく右側にはありますまた露出時間をさらに増やし長時間露光を模倣できますリアルさに大きな違いを生むモーションブラーをこの新しいモーションAPIで簡単に追加できますモーションについてはここまでですご視聴ありがとうございました皆さんのApp強化に貢献するツールを提供するため多くの作業を経て MetalレイトレーシングAPI を作り上げました皆さんがこれを活用して作成する素晴らしいコンテンツがとても楽しみですご視聴ありがとうございました WWDCをお楽しみください ♪

4:48 - Specify intersection functions on render pipeline state

// Create and attach MTLLinkedFunctions object
NSArray <id <MTLFunction>> *functions = @[ sphere, cone, torus ];

MTLLinkedFunctions *linkedFunctions = [MTLLinkedFunctions linkedFunctions];
linkedFunctions.functions = functions;

pipelineDescriptor.fragmentLinkedFunctions = linkedFunctions;

// Create pipeline
id<MTLRenderPipelineState> rayPipeline;
rayPipeline = [device newRenderPipelineStateWithDescriptor:pipelineDescriptor
                                                     error:&error];

5:02 - Create intersection function table

// Fill out intersection function table descriptor
MTLIntersectionFunctionTableDescriptor *tableDescriptor =
    [MTLIntersectionFunctionTableDescriptor intersectionFunctionTableDescriptor];

tableDescriptor.functionCount = functions.count;

// Create intersection function table
id<MTLIntersectionFunctionTable> table;
table = [rayPipeline newIntersectionFunctionTableWithDescriptor:tableDescriptor
                                                          stage:MTLRenderStageFragment];

5:14 - Populate intersection function table

id<MTLFunctionHandle> handle;

for (NSUInteger i = 0 ; i < functions.count ; i++) {
    // Get a handle to the linked intersection function in the pipeline state
    handle = [rayPipeline functionHandleWithFunction:functions[i]
                                               stage:MTLRenderStageFragment];

    // Insert the function handle into the table
    [table setFunction:handle atIndex:i];
}

5:48 - Bind resources

[renderEncoder setFragmentAccelerationStructure:accelerationStructure atBufferIndex:0];
[renderEncoder setFragmentIntersectionFunctionTable:table atBufferIndex:1];

5:57 - Intersect from fragment shader

[[fragment]]
float4 rayFragmentShader(vertex_output vo [[stage_in]],
                         primitive_acceleration_structure accelerationStructure,
                         intersection_function_table<triangle_data> functionTable,
                         /* ... */)
{
    // generate ray, create intersector...

    intersection = intersector.intersect(ray, accelerationStructure, functionTable);

    // shading...
}

9:32 - Triangle intersection function

[[intersection(triangle, triangle_data)]]
bool alphaTestIntersectionFunction(uint primitiveIndex        [[primitive_id]],
                                   uint geometryIndex         [[geometry_id]],
                                   float2 barycentricCoords   [[barycentric_coord]],
                                   device Material *materials [[buffer(0)]])

{
    texture2d<float> alphaTexture = materials[geometryIndex].alphaTexture;

    float2 UV = interpolateUVs(materials[geometryIndex].UVs,
        primitiveIndex, barycentricCoords);

    float alpha = alphaTexture.sample(sampler, UV).x;

    return alpha > 0.5f;
}

10:36 - Custom intersection with intersection query

intersection_query<instancing, triangle_data> iq(ray, as, params);

// Step 1: start traversing acceleration structure
while (iq.next())
{
    // Step 2: candidate was found. Check type and run custom intersection.
    switch (iq.get_candidate_intersection_type())
    {
	    case intersection_type::triangle:
	    { 
	       bool alphaTestResult = alphaTest(iq.get_candidate_geometry_id(),
	                                iq.get_candidate_primitive_id(),
	                                iq.get_candidate_triangle_barycentric_coord());
    	   // Step 3: commit candidate or ignore
           if (alphaTestResult) 
               iq.commit_triangle_intersection()
  	  }
    }
}

10:39 - Custom intersection with intersection query 2

switch (iq.get_committed_intersection_type())
{
  // Miss case  
  case intersection_type::none:
  {
      missShading();
      break;
  } 
  
  // Triangle intersection was committed. Query some info and do shading.
  case intersection_type::triangle:
  {
      shadeHitTriangle(iq.get_committed_instance_id(),
                       iq.get_committed_distance(),
                       iq.get_committed_triangle_barycentric_coord());
      break;
  }
}

15:30 - Specifying user instance IDs

// New instance descriptor type

typedef struct {
    uint32_t userID;
    // Members from MTLAccelerationStructureInstanceDescriptor...
} MTLAccelerationStructureUserIDInstanceDescriptor;

// Specify instance descriptor type through acceleration structure descriptor

accelDesc.instanceDescriptorType = MTLAccelerationStructureInstanceDescriptorTypeUserID;

15:47 - Retrieving user instance IDs 1

// Available in intersection functions

[[intersection(bounding_box, instancing)]]
IntersectionResult sphereInstanceIntersectionFunction(unsigned int userID[[user_instance_id]],
                                                      /** other args **/)
{
    // ...
}

15:58 - Retrieving user instance IDs 2

// Available from intersection result

intersection_result<instancing> intersection = instanceIntersector.intersect(/* args */);

if (intersection.type != intersection_type::none)
    instanceIndex = intersection.user_instance_id;

// Available from intersection query

intersection_query<instancing> iq(/* args */);

iq.next()

if (iq.get_committed_intersection_type() != intersection_type::none)
    instanceIndex = iq.get_committed_user_instance_id();

16:36 - Instance transforms

// Available in intersection functions

[[intersection(bounding_box, instancing, world_space_data)]]
IntersectionResult intersectionFunction(float4x3 objToWorld [[object_to_world_transform]],
                                        float4x3 worldToObj [[world_to_object_transform]],
                                        /** other args **/)
{
    // ...
}

16:51 - Instance transforms 2

// Available from intersection result

intersection_result<instancing, world_space_data> result = 
    intersector.intersect(/* args */);

if (result.type != intersection_type::none) {
    output.myObjectToWorldTransform = result.object_to_world_transform;
    output.myWorldToObjectTransform = result.world_to_object_transform;
}

17:03 - Instance transforms 3

// Available from intersection query

intersection_query<instancing> iq(/* args */);

iq.next()

if(iq.get_committed_intersection_type() != intersection_type::none){
    output.myObjectToWorldTransform = iq.get_committed_object_to_world_transform();
    output.myWorldToObjectTransform = iq.get_committed_world_to_object_transform();
}

19:17 - Extended limits

// Specify through acceleration structure descriptor

accelDesc.usage = MTLAccelerationStructureUsageExtendedLimits;

// Specify intersector tag

intersector<extended_limits> extendedIntersector;

22:30 - Sampling time

// Randomly sample time

float time = random(exposure_start, exposure_end);

result = intersector.intersect(ray, acceleration_structure, time);

25:54 - Motion instance descriptor

descriptor = [MTLInstanceAccelerationStructureDescriptor new];

descriptor.instanceDescriptorType = MTLAccelerationStructureInstanceDescriptorTypeMotion;

// Buffer containing motion instance descriptors
descriptor.instanceDescriptorBuffer = instanceBuffer;
descriptor.instanceCount = instanceCount;

// Buffer containing MTLPackedFloat4x3 transformation matrices
descriptor.motionTransformBuffer = transformsBuffer;
descriptor.motionTransformCount = transformCount;

descriptor.instancedAccelerationStructures = primitiveAccelerationStructures;

26:33 - Instance motion

// Specify intersector tag

kernel void raytracingKernel(acceleration_structure<instancing, instance_motion> as,
                             /* other args */)
{
    intersector<instancing, instance_motion> intersector;

    // ...
}

27:24 - Primitive motion 1

// Collect keyframe vertex buffers

NSMutableArray<MTLMotionKeyframeData*> *vertexBuffers = [NSMutableArray new];

for (NSUInteger i = 0 ; i < keyframeBuffers.count ; i++) {
    MTLMotionKeyframeData *keyframeData = [MTLMotionKeyframeData data];

    keyframeData.buffer = keyframeBuffers[i];

    [vertexBuffers addObject:keyframeData];
}

27:39 - Primitive motion 2

// Create motion geometry descriptor

MTLAccelerationStructureMotionTriangleGeometryDescriptor *geometryDescriptor =
    [MTLAccelerationStructureMotionTriangleGeometryDescriptor descriptor];

geometryDescriptor.vertexBuffers = vertexBuffers;
geometryDescriptor.triangleCount = triangleCount;

27:57 - Primitive motion 3

// Create acceleration structure descriptor

MTLPrimitiveAccelerationStructureDescriptor *primitiveDescriptor =
    [MTLPrimitiveAccelerationStructureDescriptor descriptor];

primitiveDescriptor.geometryDescriptors = @[ geometryDescriptor ];

primitiveDescriptor.motionKeyframeCount = keyframeCount;

28:10 - Primitive motion 4

// Specify intersector tag

kernel void raytracingKernel(acceleration_structure<primitive_motion> as,
                             /* other args */)
{
    intersector<primitive_motion> intersector;

    // ...
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

Tech Talks

WWDC23

WWDC22

WWDC21