MetalでGPUレンダリングを最適化

MetalでGPUレンダリングを最適化

最新のMetal機能とベストプラクティスを使用してGPUレンダリングを最適化する方法を学びましょう。応答性の高いオーサリングワークフローと最速のレンダリング速度を維持するための関数特殊化と並列シェーダーコンパイルの使用方法を紹介し、最適なパフォーマンスを実現するためのコンピュートシェーダーのチューニングする方法を理解しましょう

関連する章
- 0:00 - Intro
- 2:00 - Maximize shader performance
- 7:45 - Asynchronous compilation
- 10:10 - Fast runtime compilation
- 12:46 - Tune compiler options
- 16:10 - Wrap-Up
リソース
- Metal
- - HDビデオ
  - SDビデオ
関連ビデオ

Tech Talks
- Metalシェーダのパフォーマンスを改善するベストプラクティス
WWDC22
- Apple GPUでコンピューティングワークロードを拡張する
- Metal 3で、GPUバイナリをターゲットにして最適化する
WWDC21
- Metalのコンパイルワークフロー
ダウンロード

♪ ♪
こんにちは私Gauri Jogは AppleのMetal Ecosystemチームに所属しています Metalを使ったGPUレンダリングの最適化についてお話しします
最近のデジタルコンテンツ制作アプリケーションやゲームエンジンではコンテンツ制作者が3Dアセットのマテリアルをインタラクティブに作成変更できるようになっていますこのような複雑で動的なマテリアルを実行時に処理するための一般的な手法がいくつかありますマテリアルを個々のシェーダにコンパイルするアプリケーションはじめUber Shaderやシェーダ仮想マシンなどのデータ駆動型ソリューションを使用するものもありますこれらのマテリアル中心のワークフローには主に2つの性能目標がありますマテリアルのオーサリングは高速なイテレーションと最高のエクスペリエンスのためにレスポンシブであるべきですレンダリングパフォーマンスはリアルタイムのインタラクティブ性と効率的な最終フレームレンダリングのために可能な限り良好であるべきです
Blender 3Dのこのデモではマテリアル編集はレスポンシブですユーザーインターフェイスでマテリアルスライダーを変更するとシェーダの再コンパイルによるスタッタなしにビューポートに即座に結果が表示されますマテリアルが変更されるとその結果のレンダリングパフォーマンスは高速でインタラクティブになりコンテンツ制作者は作業結果を効率的に確認することができます
アプリケーションで応答性とパフォーマンスの高いワークフローを実現するには Metalの主要な機能を活用し Metalのベストプラクティスを実装します Metalは複雑なシェーダーのパフォーマンスを最大化し非同期コンパイルを活用してアプリケーションの応答性を維持しダイナミックリンクを使用してコンパイルを高速化し Metalの新しいコンパイラーオプションでコンピュートシェーダーを調整する際に役立ちますシェーダーの最適化はパフォーマンスの鍵です Uber Shaderとはあらゆるマテリアルのレンダリングに使用できる長くて複雑なシェーダーの一例ですこの種のシェーダーには可能な組み合わせごとに分岐が多数存在しますアーティストがマテリアルを作成するときマテリアルのパラメータは Metalバッファに保存されマテリアルシェーダで使用されますこのバッファはパラメータを変更すると更新されますが再コンパイルは必要ありません
このアプローチは優れたレスポンシブオーサリング体験を提供しますしかし Uber Shaderはすべての可能なオプションを考慮しなければならないため最適ではありません
最も最適なシェーダーバリアントを作るには関数定数を使った Metalの特化型を使うべきです Metalシェーダで関数定数を宣言しその値が変更されたときに実行時に設定するだけですマテリアルバッファの内容はシェーダパイプラインステートで単に定数になり動的分岐はなくなります特化されたマテリアルは最も高いパフォーマンスをもたらしますこれはBlender 3Dの 2つの一般的なテストアセット WandererとTree Creatureのリアルタイム― パフォーマンスデータの比較です 1つ目はUber Shaderを使用したシーンのフレームレートに関するベースラインのパフォーマンスです 2つ目は関数定数を使った特化型シェーダのアプローチではるかに高速に動作します最速の特化型シェーダのバリエーションを作るには関数定数を使用して未使用の機能を無効にして分岐をなくします
Uber Shaderはバッファからマテリアルパラメータをクエリし実行時に条件分岐を行い機能を有効にしたり無効にしたりします関数定数を使用するとマテリアル機能ごとに定数を1つ宣言しますこれでフィーチャーのコードパスの動的分岐が関数定数に置き換えられ未使用のコードがすべてなくなります以下は同じUber Shaderを関数定数で表したものです Metal コンパイラはこれらを定数ブーリアンとして折り畳み未使用コードを削除することができます falseに解決される分岐式は最適化され真の分岐だけが残されます未使用の制御フローはすべて最適化されます
特化型シェーダはマテリアルデータをクエリする必要がなくなりよりシンプルな制御フローになりましたメモリロードと分岐が削除され実行時のパフォーマンスが速くなりました
関数の特化型は定数の折りたたみにも役立ちます変化しない材料パラメータは定数に置き換えられますこのマテリアル例ではMetalバッファからの入力パラメータのコレクションを使います色や重さや光沢の色をはじめその他多くのものがパラメーターとなります
マテリアル作成時にこれらの静的パラメータを関数定数に置き換えることができます関数定数はバッファの読み込みを必要とせず最適なコードを生成しますホスト側では特殊なパイプライン状態を作成する際に関数の定数値が提供されます MaterialParameter 構造体はマテリアルの定数である― すべてのパラメータを表すために使用できます IsGlossyは光沢度を制御するブール値のマテリアル機能フラグの例です MaterialColorは色を表現するベクターパラメータの例です
特殊なPipeline State Objectを作成するには MetalFunctionConstantValues セットを繰り返し setConstantValueを使用して値を挿入します
その後通常通り Render Pipelineを作成するだけです唯一の違いはフラグメント関数を作成するときに newFunctionWithNameバリアントを constantValuesで使用することです
最後にPipeline State Object を作成します出来上がったシェーダはこのマテリアルの最も最適な性能を持つバリアントです
常に XcodeのGPU Debugger Performanceセクションを使用して関数定数を使用することの影響を確認してください
元のUber ShaderはALU命令数が多くスピル量が多いことを示していますメモリ待ちの数も多いです
特化型されたアプローチはALUとスピルに対して即座に緩和を与えますこれはデッドコードの排除と定数の折りたたみによるものですまたメモリ待ちの数も大幅に少なくなっています
オリジナルのUber Shaderをランタイムシェーダー実行コストで見ると GPUはメモリ待機にかなりの時間を費やしています
対照的に特化型されたアプローチではメモリ待機に費やす時間がはるかに減少しほかの効率的な利点とともにより生産的な ALU利用が可能になります
GPU Debuggerのタイムラインビューでは Uber Shaderを使った― マテリアルパスのレンダリングに 58ミリ秒かかっています特化型ではレンダリングに 12.5 ミリ秒しかかかりませんこれはかなり劇的な改善です
マテリアルの特化型にはランタイムシェーダーコンパイルが必要で特化型されたマテリアルが生成される際にブロックして待つと多くの場合ヒッチが発生します Metalの非同期コンパイルAPIによって汎用Uber Shaderを使用しバックグラウンドで特化型されたバージョンを生成しながらインタラクティブかつレスポンシブにユーザーエクスペリエンスを保てます
非同期パイプライン状態生成を選択するには完了ハンドラを提供しますこれらの呼び出しは即座に返されるためインタラクティブかつレスポンシブにユーザーエクスペリエンスを保てます完了ハンドラは特化されたパイプラインステートの準備ができたときに呼び出されすぐに最適なシェーダに切り替えることができます
これは非同期マテリアルワークフローの図ですデフォルトではマテリアルがまだ特化型されていない場合 Uber Shaderを使用します同時に Metalはバックグラウンドで特化型シェーダをコンパイルします
これが完了するとUber Shaderを高速にスペシャライズされたマテリアルに切り替えることができます
ランタイムのMetalシェーダーコンパイルはバランスの取れたレベルの並列性を提供するように設計されていますしかし最新のコンテンツ作成のアプリではマルチマテリアル編集ワークフローを提供する必要がありその結果多くのシェーダの再コンパイルが発生しますこのようなヘビーなオーサリングを支援するために Metalに対してシェーダーコンパイルの並列性を最大化するように依頼できます macOS13.3のMetalデバイスには hould-Maximize-Concurrent-Compilation という新しいプロパティがありますこれをYesに設定すると MetalコンパイラはCPUコアを最大限に活用します同時コンパイルを最大化することはマルチマテリアルのオーサリングワークフローにとって本当に素晴らしいことですコンパイラのジョブを増やすことで特殊なマテリアルのバリエーションをより早く利用できるようになりますこれが実際にどのように機能するか説明しますマテリアルのパラメータが変更されるとそのマテリアルの現在の特化型されたバリエーションは無効になりオーサリングの流動性を保つために Uber Shaderの使用に切り替わります新しい非同期ジョブがキューに入れられそれが完了すると特化型されたマテリアルが使用されるようになりパフォーマンスが大幅に向上します最近のアプリの多くは非常に複雑なマテリアルを使用しているため特化したバリエーションが準備できるまでにかなりの時間を要することがあります Metalのダイナミックライブラリによってユーティリティ関数をプリコンパイルし全体的なマテリアルのコンパイル時間を短縮することができますこれを行うには機能のグループを別々のダイナミックライブラリに分割します実行時のコンパイルをさらに速くするためにユーティリティライブラリをオフラインでプリコンパイルすることもできますそうすれば実行時にコンパイルするコードはかなり減少します
以前のUber Shaderを dylibsに分割するとしたらアプローチの1つは共通の機能グループごとに分割することですこの場合 1つは数学ユーティリティライブラリ用でもう1つはライティング関数用です
関数のシンボルをリンク時に見えるようにするには「default」の可視性を割り当てます「hidden」という可視性を割り当てることで外部プログラムからシンボルを隠すこともできます
Metalデバイスがダイナミックライブラリをサポートしているかを確認するためのプロパティが2つありますレンダーパイプラインにはMetalデバイスの supportsRenderDynamicLibraries プロパティを使用する必要がありますこれは現在 Apple6以上のGPU ファミリを搭載したデバイスで利用可能です
コンピュートパイプラインについては supportsDynamicLibraries プロパティを照会してくださいこれはApple6以上と Mac2 GPUファミリーのほとんどで利用可能です
既存のMetalライブラリからダイナミックライブラリを作成するには単にnewDynamicLibraryを呼び出し Metalライブラリを渡します URLから作成するにはnewDynamic LibraryWithURLメソッドを呼び出し格納されているダイナミックライブラリへのパスを指定します
メタルコンパイラツールチェーンでダイナミックライブラリをオフラインでプリコンパイルすることができますプリコンパイルされたダイナミックライブラリを実行時にロードする場合コンパイルは完全に回避されますリンク段階でディライブを指定するにはパイプライン記述子の preloadedLibrariesパラメータに Metal Dynamic Library Objectsの配列を渡しますまたほかのシェーダーライブラリをコンパイルする際に Metal Compile Optionsを介してこのダイナミックライブラリの配列を提供するオプションもありますユーティリティコードの大部分をダイナミックライブラリに移動することでランタイムコンパイルが大幅に短縮されます最後にコンパイラオプションのチューニングは最終的なプロダクションークオリティのレンダリングにおけるパストレーシングのようなコンピュートケースにとって非常に重要で最終的なレンダリングから最大限のパフォーマンスを引き出す Metalの追加機能が1つあります Metalのコンパイラーオプションと占有ヒントはダイナミックリンクを使用する場合に特にこれらのコンピュートカーネルの性能のチューニングを可能にします
すべてのGPUワークロードには分析と評価が必要な性能的な最適点があります希望するGPU占有率をターゲットとする Metal APIがありこれは現在ダイナミックライブラリでも利用可能ですこれにより元のコードやアルゴリズムを変更することなく既存のワークロードの性能を解放することができます性能特性はGPUアーキテクチャによって異なる可能性があるためチューニングはデバイスごとに行う必要があることは注目に値します
Metalコンピュートパイプライン記述子プロパティでは Max-Total-Threads-Per- Threadgroup値を指定することで希望する占有レベルを表現できますこの値が大きいほどコンパイラがより高い占有率を目指すことになりますダイナミック・ライブラリ用のこの新しい Metal-Compile-Optionsプロパティでパイプラインの状態オブジェクトを希望の占有レベルに合わせることができます Max-Total-Threads-Per- Threadgroupは iOS 16.4 および macOS 13.3 の MetalCompileOptionsで利用可能です
これでMetalダイナミックライブラリを最適なパフォーマンスに調整しながらパイプラインステートオブジェクトの希望占有率に単純に合わせられます
このBlender Cyclesのシェーディングと交差計算カーネルのパフォーマンスのグラフは Max-Total-Threads-Per- Threadgroupの変更の影響を示しますこれはパイプラインステートオブジェクトと dylibsのために変更した唯一の変数ですこの場合カーネルが最高のパフォーマンスを発揮するスイートスポットが存在しますワークロードとデバイスはそれぞれ固有であり Max-Total-Threads-Per- Threadgroupの最適値はカーネルの性質によって異なります最適な値はGPUがサポートするスレッドグループあたりのスレッド数の最大値とは限りませんあなたのカーネルで実験して使いたい最適値を見つけてコードに組み込んでください以下は Blender Cyclesのシェーディングカーネルですコンパイラの統計はカーネルが非常に複雑であることを示しています実際の実行時間に影響するパラメータがいくつかありますスピルの量や使用されるレジスタの数メモリロードのようなほかの操作などです Max-Total-Threads-Per- Threadgroupをチューニングすることでターゲット占有率を変更しパフォーマンスのスイートスポットを見つけることができます
スイートスポットを見つけたあとスピルは少し増えますが全体的な占有率を上げることでカーネル性能は大幅に向上しています
Blender 3D 3.5内の Cyclesパストレーサーは現在Metal用に最適化されており今日取り上げたベストプラクティスをすべて使用しています
関数の特化型を使用して大規模で複雑なシェーダのシェーダ性能を最大化すること非同期コンパイルを使用して最適化されたシェーダをバックグラウンドで生成しながらアプリケーションの応答性を維持すること実行時のコンパイルを高速化するためにダイナミックリンクを有効にすること最適な性能を得るために新しいMetalコンパイラオプションでコンピュートカーネルをチューニングすることを忘れないでください Apple GPU向けにコンピュートワークロードをスケーリングする方法を学び Metalのコンパイルワークフローをさらに発見できる以前のセッションもぜひご覧くださいご視聴ありがとうございました ♪ ♪

// Reduce branch performance cost
fragment FragOut frag_material_main(device Material &material [[buffer(0)]]) {
    if(material.is_glossy) {
        material_glossy(material);
    }

    if(material.has_shadows) {
        light_shadows(material);
    }

    if(material.has_reflections) {
        trace_reflections(material);
    }

    if(material.is_volumetric) {
        output_volume_parameters(material);
    }

    return output_material();
}

3:55 - Function constant declaration per material feature

constant bool IsGlossy        [[function_constant(0)]];
constant bool HasShadows      [[function_constant(1)]];
constant bool HasReflections  [[function_constant(2)]];
constant bool IsVolumetric    [[function_constant(3)]];

3:59 - Dynamic branch for the feature codepath is replaced with function constants
```
if(material.has_reflections) {
  trace_reflections(material);
}
```
4:05 - Dynamic branch for the feature codepath is replaced with function constants
```
/* replaced with function constants*/

if(HasReflections) {
	trace_reflections(material);
}
```

4:13 - Reduce branch performance cost with function constants

constant bool IsGlossy        [[function_constant(0)]];
constant bool HasShadows      [[function_constant(1)]];
constant bool HasReflections  [[function_constant(2)]];
constant bool IsVolumetric    [[function_constant(3)]];

// Reduce branch performance cost
fragment FragOut frag_material_main(device Material &material [[buffer(0)]]) {
    if(IsGlossy) {
        material_glossy(material);
    }

    if(HasShadows) {
        light_shadows(material);
    }

    if(HasReflections) {
        trace_reflections(material);
    }

    if(IsVolumetric) {
        output_volume_parameters(material);
    }

    return output_material();
}

4:58 - Function constants for material parameters

// Function constants for material parameters

constant float4 MaterialColor  [[function_constant(0)]];
constant float4 MaterialWeight [[function_constant(1)]];
constant float4 SheenColor     [[function_constant(2)]];
constant float4 SheenFactor    [[function_constant(3)]];

struct Material {
    float4 blend_factor;
};

void material_glossy(const constant Material& material) {
    float4 light, sheen;
    light = glossy_eval(MaterialColor, MaterialWeight);
    sheen = sheen_eval(SheenColor, SheenFactor);
    glossy_output_write(light, sheen, material.blend_factor);
}

5:21 - MaterialParameter structure for constant parameters

struct MaterialParameter {
    NSString* name;
    MTLDataType type;
    void* value_ptr;
};

MaterialParameter is_glossy{@"IsGlossy",      MTLDataTypeBool,   &material.is_glossy};
MaterialParameter mat_color{@"MaterialColor", MTLDataTypeFloat4, &material.color};

5:51 - Declare and populate MTLFunctionConstantValues

// Declare and populate MTLFunctionConstantValues
MTLFunctionConstantValues* values = [MTLFunctionConstantValues new];
    
for(const MaterialParameter& parameter : shader_parameters) {
    [values setConstantValue: parameter.value_ptr
                        type: parameter.type
                    withName: parameter.name];
}

5:51 - Create pipeline render state object with function constant declarations

struct Material {
  bool is_glossy;
  float color[4];
};

struct MaterialParameter {
    NSString* name;
    MTLDataType type;
    void* value_ptr;
};

// Declare material
Material material = {true, {1.0f,0.0f,0.0f,1.0f}};

// Declare function constant paramters
MaterialParameter is_glossy{@"IsGlossy",      MTLDataTypeBool,   &material.is_glossy};
MaterialParameter mat_color{@"MaterialColor", MTLDataTypeFloat4, &material.color};

MaterialParameter shader_parameters[2] = {is_glossy, mat_color};

// Declare and populate MTLFunctionConstantValues
MTLFunctionConstantValues* values = [MTLFunctionConstantValues new];
    
for(const MaterialParameter& parameter : shader_parameters) {
    [values setConstantValue: parameter.value_ptr
                        type: parameter.type
                    withName: parameter.name];
}

// Create MTLRenderPipelineDescriptor and create shader function from MTLLibrary
MTLRenderPipelineDescriptor *dsc = [MTLRenderPipelineDescriptor new];
NSError* error = nil;

dsc.fragmentFunction = [shader_library newFunctionWithName:@"frag_material_main"
                                            constantValues:values
                                                     error:&error];

// Create pipeline render state object
id<MTLRenderPipelineState> pso = [device newRenderPipelineStateWithDescriptor:dsc
                                                                        error:&error];

6:14 - Create MTLRenderPipelineDescriptor and create shader function from MTLLibrary

// Create MTLRenderPipelineDescriptor and create shader function from MTLLibrary
MTLRenderPipelineDescriptor *dsc = [MTLRenderPipelineDescriptor new];
NSError* error = nil;

dsc.fragmentFunction = [shader_library newFunctionWithName:@"frag_material_main"
                                            constantValues:values
                                                     error:&error];

8:07 - Shader library creation

- (void)newLibraryWithSource:(NSString *)source 
                     options:(MTLCompileOptions *)options
           completionHandler:(MTLNewLibraryCompletionHandler)completionHandler;

8:09 - Render pipeline state creation

- (void)newRenderPipelineStateWithDescriptor:(MTLRenderPipelineDescriptor *)descriptor
              completionHandler:(MTLNewRenderPipelineStateCompletionHandler)completionHandler;

9:00 - Use as many threads as possible for concurrent compilation
```
@property (atomic) BOOL shouldMaximizeConcurrentCompilation;
```

10:58 - Assign symbol visibility to default or hidden

__attribute__((visibility(“default")))
             void matrix_mul();

__attribute__((visibility(“hidden")))
             void matrix_mul_internal();

11:19 - Verify device support

//For render pipelines
@property (readonly) BOOL supportsRenderDynamicLibraries;

//For compute pipelines
@property(readonly) BOOL supportsDynamicLibraries;

11:46 - Compile dynamic libraries

//create a dynamic library from an existing Metal library

- (id<MTLDynamicLibrary>) newDynamicLibrary:(id<MTLLibrary>) library 
                                      error:(NSError **) error

//create from the URL
- (id<MTLDynamicLibrary>) newDynamicLibraryWithURL:(NSURL *) url
                                             error:(NSError **) error

12:18 - Dynamically link shaders

//Pipeline state
MTLRenderPipelineDescriptor* dsc = [MTLRenderPipelineDescriptor new];
dsc.vertexPreloadedLibraries   = @[dylib_Math, dylib_Shadows];
dsc.fragmentPreloadedLibraries = @[dylib_Math, dylib_Shadows];

//Compile options
MTLCompileOptions* options = [MTLCompileOptions new];
options.libraries = @[dylib_Math, dylib_Shadows];
[device newLibraryWithSource:programString
                     options:options
                       error:&error];

13:45 - Specify desired max total threads per threadgroup

@interface MTLComputePipelineDescriptor : NSObject
@property (readwrite, nonatomic) NSUInteger maxTotalThreadsPerThreadgroup;

14:12 - Match desired max total threads per threadgroup

@interface MTLCompileOptions : NSObject
@property (readwrite, nonatomic) NSUInteger maxTotalThreadsPerThreadgroup;

14:25 - Tune Metal dynamic libraries

MTLCompileOptions* options = [MTLCompileOptions new];
options.libraryType = MTLLibraryTypeDynamic;
options.installName = @"executable_path/dylib_Math.metallib";
if(@available(macOS 13.3, *)) {
    options.maxTotalThreadsPerThreadgroup = 768;
}

id<MTLLibrary> lib = [device newLibraryWithSource:programString
                                          options:options
                                            error:&error];
       
id<MTLDynamicLibrary> dynamicLib = [device newDynamicLibrary:lib
                                                       error:&error];

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

関連する章

リソース

関連ビデオ

Tech Talks

WWDC22

WWDC21