Metalメッシュシェーダでジオメトリを変換する

Metalメッシュシェーダでジオメトリを変換する

Metalメッシュシェーダとは - GPU駆動のジオメトリを作成・処理する、Metalの最新かつ柔軟なパイプラインです。このAPIがレンダリングパイプラインを向上させ、柔軟性を高める仕組みをはじめ、GPU駆動の機能がもたらす可能性について解説します。メッシュシェーダを使用するGPUで、ヘアレンダリングなどの手続き型ジオメトリを作成する方法や、追加の計算パスや中間バッファを使用せず、単独のレンダリングパスで構築する方法をご覧ください。また、GPU駆動のメッシュレットカリングで、シーンの処理やレンダリングを改善する方法も紹介します。

リソース
関連ビデオ

Tech Talks
- M3とA17 ProでのGPUの進化
WWDC22
- Metal 3の紹介
- WWDC22（3日目）のまとめ
ダウンロード

こんにちは　Andreiです Metal framework teamの GPUソフトウェアエンジニアです今日はMetalメッシュシェーダをご紹介します MeshシェーダはGPUによるジオメトリ作成処理を行える Metalの新しい柔軟なパイプラインです頂点/フラグメントパイプラインを改良し多くの柔軟性を追加し頂点ごとの制限を取り払ったものです複数の用途がありますがその代表的なものはきめ細かいジオメトリカリング処理 GPU上でのスケーラブルなプロシージャルジオメトリの作成圧縮頂点ストリームメッシュレットや複雑なプロシージャルアルゴリズムなどのカスタムジオメトリ入力などです今日はこの３つを取り上げますまずMetalメッシュシェーダについて説明しますその後メッシュシェーダの使用例を2つ紹介しますメッシュシェーダはプロシージャルヘアなどプロシージャルジオメトリの作成に最適ですシーン処理やレンダリングの改善にも役立ちますこの主な例がメッシュシェーダによる GPUを使ったメッシュレットカリングですまずメッシュシェーダから紹介しますこれはスタンフォードバニーです GPUでレンダリングできる典型的なメッシュですこのメッシュをレンダリングするにはまず頂点とインデックスのデータをデバイスメモリに配置する必要がありますその後レンダーコマンドエンコーダを使ってドローコールを実行します従来のレンダリングパイプラインは 3つの基本ステージからなりますプログラマブル頂点シェーダステージ固定関数ラスタライズステージプログラマブルフラグメントシェーダステージです頂点シェーダステージではデバイスメモリからジオメトリを入力として受け取り処理しますラスタライザは画面スペースでフラグメントを生成しフラグメントシェーダで最終的な画像を生成しますこのパイプラインはよく機能してきましたしかし柔軟性に欠けある種の制限もあります例を見てみましょう GPUでプロシージャルジオメトリを作成するとしますこのウサギにプロシージャルな毛皮を足します従来のジオメトリパイプラインではどう処理されるでしょうか従来プロシージャルジオメトリの作成には演算カーネルのディスパッチを実行する演算コマンドエンコーダが必要でした演算カーネルは元のメッシュを入力として受け取りプロシージャルジオメトリを作成してデバイスメモリに戻します次にレンダリングコマンドエンコーダを使用してプロシージャルジオメトリを入力とするドローコールを実行し最終画像を生成しますこの方法では2つのコマンドエンコーダが必要なだけでなくプロシージャルジオメトリを格納するために追加のメモリを割り当てる必要があります間接ドローコールや拡張係数が高い場合メモリ量はかなり多くなり予測も困難になりますまた 2つのエンコーダ間に障壁があり GPU全体で処理を逐次行います Metalメッシュシェーダはこれらの問題を解決しますメッシュシェーダは新しいジオメトリパイプラインで頂点シェーダステージをオブジェクトシェーダステージとメッシュシェーダという 2つのステージで置き換えますこの例ではオブジェクトシェーダがジオメトリを入力として受け取り処理してペイロードと呼ばれるデータをメッシュシェーダへ出力しますこのデータの中身はあなた次第ですメッシュシェーダはこのデータを使ってプロシージャルジオメトリを作成しますこのプロシージャルジオメトリはドローコール内にのみ存在しデバイスメモリを割り当てる必要はありませんこれはラスタライザに直接パイプラインされ最終画像を作成するフラグメントシェーダに送られますメッシュドローコールは従来のドローコールと同タイプのレンダーコマンドエンコーダを使いますメッシュドローコールと従来のドローコールは混在可能ですでは 2つのプログラマブルステージを見てみましょう
頂点シェーダと違いオブジェクトとメッシュシェーダは演算カーネルに似ていますこれらはスレッドグループのグリッドで起動します各スレッドグループは個々のスレッドのグリッドであり演算スレッド同様互いに通信が可能ですオブジェクトスレッドグループはメッシュグリッドを生成し起動したメッシュグリッドのサイズをプログラム的に定義できるため非常に柔軟性がありますオブジェクトスレッドグループはペイロードを生成したメッシュグリッドに渡しますオブジェクトステージはその名の通りオブジェクトを処理しますオブジェクトは抽象的な概念で必要に応じ定義可能ですシーンモデルやその一部などプロシージャルジオメトリを作成したい空間に使用できますメッシュステージはメッシュを作成しジオメトリデータを直接ラスタライザに送ります次の2つの例でオブジェクトとメッシュの関係を説明しますまずメッシュシェーダで毛皮をレンダリングします作業を単純化するためウサギではなく平面を使います毛皮を作成するため入力ジオメトリをタイルに分割し各タイルが詳細レベルと必要な毛の量を計算し個々の毛を1本ずつ作成しますメッシュシェーダを使用してこの平面に毛皮を順番に生成しましょう平面をタイルに分割してオブジェクトスレッドグループに対応させます各オブジェクトスレッドグループは毛の束の数を計算しそれぞれの束のカーブ制御点を生成しますこれペイロードになりますオブジェクトスレッドグループはメッシュグリッドを起動し各メッシュスレッドグループが一束を表します各メッシュスレッドグループはラスタライザにメッシュを出力します新しいジオメトリパイプラインはジオメトリ処理をハードウェアにマッピングし GPUのすべてのスレッドを最大限活用できますメッシュレンダリングパイプラインでは入力ジオメトリはオブジェクトシェーダグリッドのためタイルに分割されます各オブジェクトシェーダスレッドグループは独立してペイロードを生成しメッシュグリッドを起動できます各メッシュシェーダスレッドグループはレンダリングパイプラインの残りの部分でさらに処理されるmetal::meshを生成します各ステージで作成されるデータを詳しく見てみましょうペイロードはオブジェクトシェーダで定義されます各オブジェクトスレッドグループはカスタマイズされたペイロードを生成するメッシュグリッドに渡します毛のレンダリングの場合ペイロードはカーブ制御点で構成されます一方メッシュシェーダは新しい metal::meshタイプを通じて頂点とプリミティブデータを出力します
オブジェクトとメッシュステージはパイプラインの残りの部分で使用されるメッシュデータを出力します従来のパイプラインからの頂点出力と同様メッシュデータはまずラスタライザで使用されその後フラグメントシェーダが実行されます毛のレンダリングメッシュパイプラインについて詳しく見てみましょうまず毛で覆われる平面がタイルに分割され各タイルはオブジェクトスレッドグループに対応しますオブジェクトスレッドグループはメッシュグリッドのサイズを決定しメッシュグリッドに渡すペイロードデータを初期化しますこの場合タイルには6本の毛があり 3x2のメッシュグリッドが生成され毛ごとにカーブペイロードデータが付与されます各スレッドグループは固有のメッシュグリッドサイズを生成できます次のスレッドグループでは4本の毛を生成する必要があるため 2x2のメッシュグリッドが設定され 4本分のカーブペイロードデータが初期化されますこの方法を実装したオブジェクトシェーダはこうなりますオブジェクトシェーダのコードを指定するため Metalにオブジェクト属性が追加されましたペイロード属性とオブジェクトデータアドレス空間によりシェーダ内でペイロード引数が使用可能です
mesh grid propertiesの引数はメッシュのグリッドサイズのエンコードに使用されます次にパイプラインを初期化しますまずMesh Render Pipeline Descriptorを割り当てオブジェクト関数を初期化しスレッドグループごとのスレッドの最大数とペイロードの長さを指定しますオブジェクトシェーダには一定の制約がありますペイロードフォーマットとコンテンツは完全にカスタマイズ可能ですただしペイロードサイズは最大16キロバイトですまた各オブジェクトスレッドグループが生成するメッシュスレッドグループの最大値は1,024ですオブジェクトシェーダステージの準備が終わったのでメッシュシェーダステージを初期化しますメッシュシェーダはユーザー定義のペイロードが入力になりますこの場合ペイロードは一連のカーブ制御点です各メッシュスレッドグループが1本の毛となる metal::meshを生成しますメッシュシェーダの出力メッシュは metal::meshである必要があります metal::meshはMetalの組み込み構造体でラスタライザおよびフラグメントシェーダに頂点およびプリミティブデータを出力するインターフェースを提供します metal::meshは頂点データの出力タイプに似た頂点データ型プリミティブデータ型最大頂点数最大プリミティブ数点線三角形のメッシュトポロジーを定義しますどのコードがメッシュシェーダかを指定するため Metalシェーダ言語にmesh属性が追加されました metal::meshはメッシュシェーダ内の出力構造として使われます
メッシュシェーダは GPUのジオメトリ処理に最適でラスタライザが使用するmetal::meshをオンザフライで生成できますメッシュシェーダはmetal::meshを活用しており計算パスを追加することなくレンダーコマンドに多くの処理を割り当て可能ですメッシュのエンコードは同じスレッドグループのスレッド間で行われますこの例ではスレッドグループの最初の9スレッドがこの髪の頂点インデックスプリミティブデータをエンコードしますスレッド0～4がそれぞれメッシュの頂点をエンコードします残りのスレッドはメッシュの頂点をエンコードしません次に 9つのスレッドすべてが 1つのインデックスをエンコードします
次に最初の3つのスレッドが三角形のプリミティブデータをエンコードします残りはプリミティブデータをエンコードしません最後に1つのスレッドがMetalメッシュのプリミティブ数をエンコードしますこのメッシュシェーダのソースコードをお見せしますメッシュシェーダは頂点インデックスプリミティブデータをエンコードし最後にプリミティブ数をエンコードするという同じステップを踏むことでスレッドの分岐を可能な限り避けるよう構成されています
メッシュパイプライン記述子の初期化に戻りましょうメッシュパイプライン記述子にはメッシュスレッドグループあたりの最大スレッド数が設定されています metal::mesh構造には守るべき制限があります metal::meshシェーダの制限は以下の通りです metal::meshは最大256個の頂点と 512個のプリミティブをサポートします metal::meshの最大サイズは16キロバイトですメッシュグリッドで Metalメッシュが生成されるとラスタライザに渡されフラグメントシェーダが実行されます従来のレンダリングパイプラインのようにメッシュパイプライン記述子にフラグメント関数を設定します記述子が初期化されたので Metalデバイスの「make render pipeline state with mesh descriptor」メソッドでパイプラインの状態が生成されますメッシュパイプラインのエンコードは従来のドローコールに似ていますパイプラインの状態がエンコーダに設定されますパイプラインの各ステージはリソースをバインドできますこの例ではオブジェクトバッファをオブジェクトステージにテクスチャをメッシュステージにフラグメントバッファをフラグメントステージにバインドしています次にメッシュパイプラインの開始に必要な定数を定義しますオブジェクトグリッドのサイズオブジェクトスレッドグループごとのスレッド数メッシュスレッドグループごとのスレッド数これらの定数を使用して新しい「draw mesh threadgroups」メソッドによる描画をエンコードします毛の平面をレンダリングするのと同じ方法をウサギ全体に適用してメッシュパイプラインを通じて毛皮をプロシージャルに生成できます次にメッシュシェーダの別の使用方法を見てみましょうメッシュシェーダはメッシュレットカリングを使用して大量のジオメトリを効率よく処理しレンダリングできますこの手法の基本はシーンメッシュを小さなメッシュレットという断片に分割することです
メッシュレットに分割することでシーンの粒度が向上しより効率的できめ細かいカリングが可能になりますこれによりジオメトリのオーバーヘッドを大幅に削減できますメッシュレット粒度処理を活用することで画面空間のオクルージョンカリングや法線フィルタリングなどのカリングアルゴリズムを効率的に行えますメッシュシェーダを使用すると GPUによるカリングやレンダリングパイプラインを実装できますここでは 1つの演算パスと 1つのレンダーパスを使用してシーン処理とレンダリングを実行する従来のGPU型パイプラインを示していますシーンデータはメッシュレットに分割され演算パスに送られます演算パスはフラストラムカリング LODの選択デバイスメモリへの描画エンコードを担当しますレンダーパスがシーンのドロー命令を実行し最終的な画像を作成しますメッシュシェーダを使用すると 2つのパスを1つのメッシュシェーダディスパッチに統合することで同期ポイントを削除し中間ドローコマンドを回避できますやり方をお見せしますここにメッシュシェーダディスパッチを実行するレンダーパスがありますオブジェクトシェーダがフラストラムカリングを行い見えるメッシュレットごとにLODを演算しますメッシュシェーダのペイロードはエンコードするメッシュリストIDの一覧ですメッシュシェーダはラスタライズとシェーディングを行うメタルメッシュオブジェクトをエンコードします最終的な画像は従来のパイプラインと同様フラグメントシェーダでシェーディングされますジオメトリ処理はすべてメッシュスレッドグループコマンド内と単一のエンコーダで行われます三角形のデータはメッシュシェーダでエンコードされるためドローコマンドを保存する中間バッファは不要です
ではカリングの話ですが特にメッシュレットカリングの実装を取り上げますシーンはここにある図形のモデルで構成されていますここでは各モデルがオブジェクトグリッドの一部になりますオブジェクトシェーダスレッドグループが生成したメッシュグリッドはモデルの表面を覆う三角形の集まりであるメッシュレットで構成されます新しいジオメトリパイプラインは非常に柔軟性がありますシーンをどうオブジェクトグリッドにマッピングするかは自由ですここではオブジェクトスレッドグループにマッピングしていますがタスクに適したマッピングを使用してくださいオブジェクトシェーダはビューイングフラストラムを使いメッシュレットの可視性を決定します最終的な画像に表示されるものにだけ作業をディスパッチしますシーンの2つのモデルに注目しましょうオブジェクトシェーダが可視性に基づきメッシュグリッドを開始しますメッシュシェーダがメッシュレットを処理し metal::meshを構築しますプログラム可能なメッシュグリッドサイズは見える範囲のメッシュレットのみを処理するため柔軟にディスパッチを行いますパイプラインの後半で見えないジオメトリの処理に費やす時間を短縮できます固定関数ラスタライザは見える表面だけを受け取るので見えないジオメトリの処理やクリップ処理の時間を短縮します最後にフラグメントシェーダが呼び出され最終的な画像が生成されますこのように新しいジオメトリパイプラインによりプロシージャルメッシュの作成やメッシュレットカリングの例で示したドローコールの効率化など様々な問題に対処できます Metalにはモダンで柔軟な新しいジオメトリパイプラインが実装されました毛のレンダリングの例のようにプロシージャルなジオメトリをこれまで以上に簡単に作成可能ですさらにメッシュレットカリングのデモで見たように追加の演算パスや中間バッファを必要とせず1回のレンダーパスで GPUによる作業の可能性が広がりました新しいジオメトリパイプラインは Family7とMac2デバイスで利用可能です
メッシュシェーダの学習と体験用に新しいAPIの使用方法を示したサンプルコードが Appleデベロッパウェブサイトで公開されていますこれらの機能とApple GPUの超並列性を活用しみなさんのニーズにあったジオメトリ処理を実現させてくださいご視聴ありがとうございました

[[object]] 
void objectShader(object_data CurvePayload *payloadOutput [[payload]],
                             const device void *inputData [[buffer(0)]], 
                             uint hairID [[thread_index_in_threadgroup]],
                             uint triangleID [[threadgroup_position_in_grid]],
                             mesh_grid_properties mgp)
{
    if (hairID < kHairsPerBlock)
       payloadOutput[hairID] = generateCurveData(inputData, hairID, triangleID);
    if (hairID == 0)
       mgp.set_threadgroups_per_grid(uint3(kHairPerBlockX, kHairPerBlockY, 1));
}

8:35 - Initializing object stage

let meshPipelineDesc = MTLMeshRenderPipelineDescriptor()
meshPipelineDesc.objectFunction = objectFunc
meshPipelineDesc.payloadMemoryLength = kPayloadLength
meshPipelineDesc.maxTotalThreadsPerObjectThreadgroup = kHairsPerBlock

9:26 - Defining a Metal Mesh

struct VertexData    { float4 position [[position]]; };
struct PrimitiveData { float4 color; };

using triangle_mesh_t = metal::mesh<
                                    VertexData,               // Vertex type
                                    PrimitiveData,            // Primitive type
                                    10,                       // Maximum vertices
                                    6,                        // Maximum primitives
                                    metal::topology::triangle // Topology
>;

[[mesh]] 
void myMeshShader(triangle_mesh_t outputMesh, ...);

11:16 - Mesh Shader (MSL)

[[mesh]] void myMeshShader(triangle_mesh_t outputMesh,
                         uint tid [[thread_index_in_threadgroup]])
{

    if (tid < kVertexCount) 
        outputMesh.set_vertex(tid, calculateVertex(tid));

    if (tid < kIndexCount) 
        outputMesh.set_index(tid, calculateIndex(tid));

    if (tid < kPrimitiveCount)
        outputMesh.set_primitive(tid, calculatePrimitive(tid));

if (tid == 0)
    outputMesh.set_primitive_count(kPrimitiveCount);

}

11:35 - Initializing the mesh stage

meshPipelineDesc.meshFunction = meshFunc
meshPipelineDesc.maxTotalThreadsPerMeshThreadgroup = kVertexCountPerHair

12:08 - Initializing the fragment stage
```
meshPipelineDesc.fragmentFunction = fragmentFunc
```

12:14 - Creating a mesh render pipeline

// initialize pipeline state object
var meshPipeline: MTLRenderPipelineState! 
do {
    meshPipeline = try device.makeRenderPipelineState(descriptor: meshPipelineDescriptor)
} catch {
    print(“Error when creating pipeline state: \(error)\”) }

12:25 - Encoding a mesh pipeline

var encoder = commandBuffer.makeRenderCommandEncoder(descriptor: desc)!

encoder.setRenderPipelineState(meshPipeline)

encoder.setObjectBuffer(objectBuffer, offset: 0, atIndex: 0)
encoder.setMeshTexture(meshTexture, atIndex: 2)
encoder.setFragmentBuffer(fragmentBuffer, offset: 0, atIndex: 0)

let oGroups   = MTLSize(width: kTrianglesPerModel, height: 1, depth: 1)
let oThreads  = MTLSize(width: kHairsPerBlock, height: 1, depth: 1)
let mThreads  = MTLSize(width: kThreadsPerHair, height: 1, depth: 1)
encoder.drawMeshThreadgroups(oGroups, threadsPerObjectThreadgroup: oThreads, threadsPerMeshThreadgroup: mThreads)

encoder.endEncoding()

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

Tech Talks

WWDC22