MetalFX Upscalingでパフォーマンスを向上させる

MetalFX Upscalingでパフォーマンスを向上させる

MetalFXは、プラットフォーム用に最適化されたMetal App向けのグラフィックスエフェクトを提供する新しいAPIです。MetalFX Upscalingを使用すると、ご利用のAppで、レンダリング品質を損なうことなく低解像度でフレームをレンダリングできるようになり、レンダリング時間も短縮されます。また、こうした2つの効果（空間的な拡張によるパフォーマンスの大幅な向上と、時間的なAAや拡張による最高品質のレンダリング）の利用方法とタイミングについても解説します。

リソース
関連ビデオ

Tech Talks
- ハイエンドゲームのiPhone 15 Proへの展開
WWDC23
- Macへのゲーム展開 Part 3：Metalでのレンダリング
WWDC22
- Metal 3の紹介
ダウンロード

皆さんようこそ Apple GPU Software TeamのKelvin Chiuです本日はMetalFX Upscalingを利用しMetalApp性能を向上させる方法についてお話します MetalFXはMetalApp向けに最適化されたグラフィックス効果を提供する新しいAPIです高性能なアップ-スケーリングが可能でレンダリング品質を維持したままAppのパフォーマンスを向上できます高解像度レンダリングは GPU処理時間を消費しますその時間を短縮するため通常解像度を下げてレンダリングするのが効果的ですしかし代償でレンダリング品質が低下します MetalFXUpscalingを使用するとAppはレンダリング品質を損なうことなく低い解像度でフレームをレンダリングし時間を短縮することができるようになりました MetalFX UpscalingはApple社のデバイスで快適に動作するよう最適化されていますゲームに採用しやすいのも特徴です MetalFXには2つアップ- スケーリングエフェクトが用意されているのでその詳細を説明しますスペイシャルアップ-スケーリングは使い方が簡単で性能も大きく向上します Temporal anti-aliasingとアップスケーリングは複数フレームの情報を統合より高画質出力を実現します
そしてこれらの効果を利用するための最善の方法についてお話します最後に実際に使っている様子をデモで紹介しセッションを終了します
まずSpatial upscalingについて説明します MetalFX Spatial upscaling は入力の空間情報を解析新しいアップ-スケーリングサンプルを生成します Spatial upscalingの統合は簡単ですアンチエイリアスのかかった入力色だけで空間的アップスケールされたカラー出力が得られます一般的なゲームレンダリングパイプラインでは anti-aliased renderや様々な後処理効果など様々なレンダリングパスが存在しますゲームのトーン-マッピング処理が完了した直後にMetalFXの空間アップスケーリングを追加する入力がトーンマッピングされ知覚的な色空間である場合に最適なパフォーマンスを発揮しますではMetalFXの空間アップ- スケーリングを確認します
このチェスのシーンは4K解像度の高品質なリファレンスレンダラーで制作されていますパストレースされレイトレースによる反射や影などの複雑なグラフィック効果を持つ並べて比較するとこんな感じです左側が540p入力で右側が1080p出力で
MetalFXによる空間アップスケーリング済です
左のクイーンを拡大するとディテールに欠け解像度の低い画像になっています右側の空間的にアップスケールされた出力はよりシャープな反射と洗練されたエッジです
次にアップスケーリングの実装方法を説明します
Metalでは通常コマンド-バッファにコマンドをエンコードしエフェクトの入力を生成するコマンドエンコーダを作成することになります同様にMetalFXエフェクト- オブジェクトを作成してコマンドをエンコードしエフェクトを実行できます MetalFXの出力を利用するコマンドをエンコードする 3つ目のコマンド-エンコーダーを作成します空間スケーラーオブジェクトは作成にコストがかかるため Appの初回起動時やディスプレイの解像度が切り替わったときにのみ新規作成するようにしましょう
まずMTLFXSpatialScaler- Descriptorを作成し設定します次にmakeSpatialScaler()メソッドを呼び出しスケーラーオブジェクトを作成します初期化コードではディスクリプタから始めます入力と出力のテクスチャの幅と高さの両方を埋めます次に後でスケーラー-オブジェクトに設定するテクスチャのフォーマットを設定します色処理モードを設定しますこれは入力と出力がどの色空間であるかを APIに伝えるものである知覚的色空間線形色空間 HDR色空間のいずれかの値を設定することができますディスクリプタが埋まったらスケーラーオブジェクト作成
その後プロパティを変更することができます好きな回数作成しencode()メソッドを呼び出しアップスケーリング処理を開始します描画コードではスケーリング効果をコマンドバッファにエンコードする前にスケーラーオブジェクトに正しい入力および出力- テクスチャ設定されたか確認空間アップスケーリングは簡単に性能を向上させます
さらに高品質なレンダリングが必要な場合は MetalFXのテンポラル-アンチエイリアスとアップスケーリングの出番となるわけです Temporal AAとアップ- スケーリングは前フレームのデータを使い高品質のアップ- スケーリング出力生成しますつまり前フレームのアップスケーリング出力が現フレームの入力の一つに使われることになります
なぜTemporal AAやアップスケーリングに前のフレームのデータが必要かを理解するためにスーパーサンプリングの概念をおさらいしましょう
スーパーサンプリングでは 1画素あたり複数のサンプルを計算しそれを1画素の値として積算する 1画素あたりの積算サンプル数が多いほどより良い結果が得られますしかし1フレーム内で画素ごとに複数のサンプルを計算するためには大きなコストがかかります 1フレームで1画素あたり複数の場所をサンプリングする代わりに時間的なサンプリングを行うことができますテンポラルサンプリングとはあるフレーム内の全ピクセルに対して異なるサンプル位置をレンダリングする概念です複数フレームでのスーパー- サンプリングクオリティを低コストで実現することができます複数フレームからサンプルを蓄積しサンプルの位置を考慮しより多くのサンプルを得ることができます一時的なAAとアップスケーリングはターゲット解像度ピクセルにサンプルを適切に統合し高品質なアンチエイリアス- アップスケーリング出力を実現しますしかしコンテンツはフレーム間で変化するため変化を検出するため多くの入力データが必要です Temporal AAとアップスケーリングには前フレーム出力のほかにジッター処理されたカラー入力とシーンの動きや深度データも必要ですなぜ必要なのかひとつひとつ解説していきます
まずはジッターカラーの入力から
ジッター無でレンダリング済赤い三角形がこちらです白い輪郭はレンダリング中の三角形を表しています小さな四角の1つ1つが画素を表しています中央のグレーのドットはピクセルのサンプリング箇所
同じ三角形を小さなジッターでレンダリングしたときの出力ですグレーの点はある画素のサンプリング位置を示しますジッターオフセットは所望のサンプル数を収集するため設定されたフレーム数に対し一意である必要がありますジッターシーケンスについて後ほど詳しく説明します
次にシーンからのモーション情報ですシーンから得られるモーションデータは前のフレームから物体がどれだけどの方向に移動したかを示すものです Temporal AAとUpscalingは動き情報を使ってバックトラックを行い前フレームで対応する場所を見つけ正しくサンプルを収集するために使用される
もう一つの入力はシーンからの深度情報であるシーンの深度データは手前に何があり奥に何があるのかを示していますこれは前景のエッジのanti- aliasingを優先する際重要で前フレームからサンプルを収集時他のオブジェクトが新たに露出する可能性があるという手がかりを提供します最後の入力データは前フレームの出力です
前フレームの出力には以前に統合された全サンプルが含まれておりピクセルあたりのサンプル数を増やすために現フレームのジッターカラー入力とブレンドされることになる前後のフレーム両方の情報を組み合わせることでより詳細な画像を得ることができます MetalFXはアップ-スケールされた出力を追跡しているので現在のレンダリングフレームから色動き深度を渡すだけでよいのです一般的なゲームレンダリングパイプラインに話を戻します MetalFXのTemporal AAとアップスケーリングはアップスケーリングの結果に干渉するためポスト処理エフェクトの前に実行する必要があります
ここで再びMetalFX Temporal AAとアップスケーリングを使いレンダリングをします左側が1080p入力右側が 4Kアップスケーリング出力サイドバイサイドの比較です
クイーンにズームインすると入力は低解像度でエイリアスが発生しているのに対し右側の時間的アップスケールされた出力は高解像度で輪郭は滑らかで反射もより細かくなっています
空間スケーラと同様に新しい時間スケーラを作成するのはコストがかかるのでAppの最初の起動時かディスプレイの解像度が切り替わったときにのみ行うべきですまずMTLFXTemporal- ScalerDescriptorを割り当てて記入する必要があります makeTemporalScaler()methodを呼出しオブジェクトを作成
初期化コードではディスクリプタから始めます入力と出力のテクスチャの幅と高さの両方を記入するスケーラーオブジェクトに後でバインドされるテクスチャのジッター-カラーデプスモーションテクスチャのフォーマットを入力し設定
最後にMetalFXがアップ-スケールした出力を保存する出力テクスチャの形式を設定しますディスクリプタが埋まったらスケーラーオブジェクト作成 scaler objectにmotion scale- プロパティを設定後モーションデータをAPIに合わせスケーリング可能 MetalFXはレンダリング- 解像度のピクセル空間で現在のフレームの位置から前のフレームの位置に向かう方向のモーションデータを想定しています例としてレンダリング解像度を1080pとしますクリップスペース座標(-0.75, -0.75)から (0.25, 0.25)に移動するオブジェクトがあるとするモーションデータは(1,1)として格納される
モーションベクターのscaleプロパティを (-960, 540)に設定し MetalFXにモーション- データを正しく解釈させる
スケーラーオブジェクトのプロパティは何度でも変更できます encode()メソッドを呼び出しアップスケーリング処理開始
フレームごとの描画コードではまずresetHistoryプロパティを設定します Appが最初のフレームをロードするときまたはシーンカットがある時この値をtrueに設定します次にエフェクトの入力となるテクスチャを設定し次に出力となるテクスチャを設定します次に深度値が逆Zマッピングであるかどうかを示す reversedDepthプロパティを設定する
スケーリング効果のエンコード前に設定すべき最後のプロパティはジッターオフセットです
ジッターを正しくオフセットすることは出力の質を高めるために不可欠ですジッターオフセットの設定方法を簡単に説明します
左側はジッターでレンダリングされた三角形
右側はピクセルを拡大したものですサンプルは(0.625, 0.78)に位置しています画素の中心はオレンジのドットで表されていますこれは(0.5, 0.5)に位置します
この例ではジッターオフセットは(-0.125,-0.28)ですジッターオフセットは常に-0.5から0.5の範囲であることに注意してください正しいジッターオフセットが提供されてるかの確認はカメラとオブジェクトのモーションのないシーンを異なるjitter offsetsのシーケンスを使いレンダリングします左は誤ったジッターオフセットが指定された場合の例ですオブジェクトがずれる可能性があり細かい線があいまいになる右側は正しいジッターオフセットを指定した場合の出力ですオブジェクトはその場にとどまり小じわは徐々に解消されます MetalFXのtemporal AAとupscaling効果は Appのパフォーマンスを向上させネイティブのターゲット解像度レンダリングの品質に匹敵するアップスケーリング品質を提供します両方のアップスケーリング効果を使用する際に最適な品質とパフォーマンスを得るためにここでは実装のベスト- プラクティスを説明します
空間アップスケーリングからスタートしましょう空間アップスケーリングの高品質を得るためにはカラー入力がanti-aliasedでノイズフリーが望ましいですこれはノイズの影響やエイリアス画像によってエッジ判定がうまくいかず空間アップスケーリングの品質が悪化するためです最高のパフォーマンスを得るには知覚的色彩処理モードを使用してくださいつまり入力色はsRGB色空間において0～1の値でトーンマッピングされている必要があります最後により高いテクスチャーディテールを得るために適切な負のミップ-バイアスを設定します空間アップスケーリングの推奨ミップバイアス計算はレンダリング解像度幅のlog2をターゲット解像度幅で割ったものを適用することである
例えばレンダリング解像度の各次元を 2倍に拡大すると-1mipの偏りが生じ各次元を1.5倍に拡大すると -0.58mipの偏りが生じますなおミップレベルが低いと高周波のパターンを持つテクスチャの場合ちらつきが発生することがありますこれらアーチファクトを発見した場合テクスチャのミップバイアスを調整する必要があります次にTemporalAAとアップスケーリングのベストプラクティスについてお話します Temporal AAとアップ- スケーリングで品質を保つ為優れたジッターシーケンスを選択することが重要ですアップスケーリングされたターゲット解像度の全ピクセルに渡ってサンプルの良い分布が得られるようなジッターシーケンスを探してみてください通常1画素あたり8個のジッターサンプルが出力され高画質なanti-aliased- upscaled出力が得られます 2倍速アップスケーリングの場合32ジッターのハルトン(2,3)シーケンスを使用しジッターカラー入力を生成することを推奨しますこれはHalton(2,3)シーケンスの最初の32個のサンプル位置をプロットしたもので 1出力ピクセルあたり約8個のサンプルを生成するまた高いテクスチャー-ディテールを得るには適切な負のミップバイアスを設定することが重要です時間的AAとアップ-スケーリングのための推奨ミップバイアス計算はレンダリング解像度幅log2 ターゲット解像度幅で割ったものを1減算して適用します例えばレンダリング解像度の各次元を2倍にスケーリングすると-2mipの偏りが生じ各次元を1.5倍にスケーリングすると -1.58mipの偏りが生じることになります次にミップバイアスが出力にどのような影響を与えるか状況別に例を挙げて説明します同シーンでミップバイアスを0,-1,-2にして MetalFXのテンポラルAAとアップスケーリングの出力を示します
ミップバイアスを-2にすると最もシャープでクリアな出力になりミップバイアス0にすると最もソフトでぼやけた出力になります
ここでは時間的なアップ- スケーリング効果を利用した回路基板のレンダリング画像を3点ご紹介します上から順にテクスチャ- サンプリング時に適用されるミップバイアスの値が0 -1,-2であることを示しています回路基板のテクスチャは微小なトレース線など高周波のパターンを持つため -2のミップバイアスはちらつきやモアレ効果を発生させるしかしミップバイアスを-1にするとこれらの影響が大きく軽減されミップバイアスを0にすると完全に解消されますミップレベルが低いとディテールが細かくなりますミップバイアスの目安ですが高周波のパターンを持つテクスチャーの場合ミップバイアスを選択する際に注意が必要です MetalFX Temporal AAとアップスケーリングによる anti-aliasedで高品質なアップスケーリング出力を確保するために以下のプラクティスに従います
最後にMetalFX Upscalingを使用する際のパフォーマンスのベスト- プラクティスを説明します MetalFX Upscalingでベスト- パフォーマンスを得るには 2 つの非依存的なレンダーまたはコンピュートパスで同じリソースを読み取りと書き込みにバインドしないよう注意する必要がありますそうすると誤った従属関係を作ってしまいます Metalでは誤った従属性を避けることは常に重要でしょうこれは次に説明するように MetalFX Upscalingで特に重要ですこの例では2つのフレームがありますシャドウと後処理のパスは全く無関係でありリソースの従属関係もない Metalは次のフレームのシャドウパスと現フレームのポストプロセッシングパスをオーバーラップさせます
しかしポスト処理パスが Metalバッファに書き込みシャドウパスも同じバッファから読み取る場合 Metalは同じリソースへの読取りと書込みを同時に行う潜在的な危険を避けるために GPUがこれら2つのパスを並行して実行するのを阻止しますフレーム間の誤った従属関係は MetalFX Upscalingのパフォーマンスに悪影響を及ぼす可能性がありますフレーム間に誤った従属性がない場合次のフレームのシャドウ-パスは前フレームの MetalFX Upscalingと重なっている可能性があることに注意してくださいしかしフレーム間に誤った従属性があるためパフォーマンスの損失には MetalFX Upscalingが処理を終了するまでの時間も含まれるようになりました理想はフレーム間に誤った従属性がないことを確認し異なるフレーム間でワークロードのオーバーラップを可能にすることで MetalFX Upscalingの使用時に最適な性能を確保することですこの例では代わりに後処理とシャドウパス用に別々のバッファを作成することで誤った従属性を防ぎ結果として独立したパスの並列実行を可能にします
MetalFX Upscalingを採用する際に常に念頭に置きたいのが誤った従属性の回避ですこの2つの効果のうちどちらを選ぶかを決める際いくつかの注意点がありますシェーディングコストとピクセル数が増加し続ける中 Temporal AAとUpscalingが必要とされています画素を時間的にアモルティ化することで視覚的な忠実度を高めパフォーマンスを上げますもしまだ優れたtemporal- AA solutionを持っておらずジッターカラーモーション深度バッファをレンダリングできる場合 MetalFXのtemporal- AA solutionは検討すべき説得力のあるプラットフォーム最適化ソリューションを提供します必要な入力がない場合やすでによく調整された AAsolutionを持っている場合はMetalFX空間- アップスケーリングの利用を検討くださいどのアップスケーリング効果を選べばいいのかこれでご理解いただけたと思います次にこの2つの効果をMetalAppでライブに動作させた例を紹介します ambient occlusionやvolumetric fogなどの real-time rendering algorithmsを搭載したサンプルコード Modern Rendering with MetalのBistroシーンを横に並べて比較してみました左が1080pでのネイティブレンダリング右がMetalFX Spatial アップスケーリングによる4K出力このサンプルは独自の temporal anti-aliasing solutionを InputNfor MetalFXの空間アップスケーリングとし使用
スクーターにズームインしてみると...
左は少しぼやけた画像右は空間的にアップスケーリングされた出力のためエッジがきれいなシャープな画像になっていますハンドルバーの直線はアンチエイリアスされてます
ボディーのカーブもより滑らかになりました性能比較をしてみましょう左は4Kでのネイティブレンダリングです右側がMetalFX- Spatial upscalingの 4K出力
カメラが動くと左側のネイティブレンダリングは途切れたフレームレートで動作していますが右側の空間的にアップスケールされた出力ははるかにスムーズです
次に反射や影を多用したレイトレースによるシーンを並べて比較してみます左は1080pのネイティブレンダリングです右はMetalFX- Temporal AAとアップスケーリングによる4K出力です
シャンデリアを拡大してみると...
左のネイティブ出力はエイリアス感があり右のタイムアップスケーリング出力はエッジがシャープでより細かいディテールが表現されています影がぼやけた感じではなくメリハリのありいい感じですシャンデリアの細かい装飾も認識できるようになりました
またMetalFX Temporal AAとアップスケーリングによる性能向上も明らかです左が4Kでのネイティブ-レンダリングです右はMetalFX- Temporal AAとアップスケーリングによる4K出力ですカメラが動くと左側のネイティブレンダリングは非常に低いフレームレートで動作していますが右側の時間的にアップスケールされた出力はよりスムーズになっています
第一線のゲーム開発者は MetalFX Upscalingの能力に期待を寄せており Grid:Legends Resident Evil:Village No Man’s Skyを今年後半にMacで提供する予定です次にフレームワークを使った初期の作業を紹介します
MetalFX Temporal AAとUpscalingを使用したNo Man’s Skyの驚くべきビジュアルと流動的なゲームプレイを見ることができます
おさらいするとMetalFXはアップスケーリングに特化した新しいAPIです Spatial upscalingは簡単に導入でき大幅な性能向上を実現しますまたTemporal AAとアップスケーリングを使用しより高品質なレンダリングを行うことができます先に説明したベスト-プラクティスに従うことで MetalFX Upscalingを最大限に活用できますご視聴ありがとうございます

3:39 - Spatial upscaling (initialization)

// Spatial upscaling (initialization)

let desc = MTLFXSpatialScalerDescriptor()
desc.inputWidth = 1280
desc.inputHeight = 720
desc.outputWidth = 2560
desc.outputHeight = 1440
desc.colorTextureFormat = .bgra8Unorm_srgb
desc.outputTextureFormat = .bgra8Unorm_srgb
desc.colorProcessingMode = .perceptual

spatialScaler = desc.makeSpatialScaler(device: mtlDevice)

9:16 - Spatial upscaling (per frame)

// Spatial upscaling (per frame)

// Encode Metal commands to draw game frame here...

// Begin setting per frame properties for effect
spatialScaler.colorTexture = currentFrameColor
spatialScaler.outputTexture = currentFrameUpscaledColor

// Encode scaling effect into command buffer
spatialScaler.encode(commandBuffer: cmdBuffer)

// Encode Metal commands for particle/noise effects and game UI drawing for frame here...

9:16 - Temporal antialiasing and upscaling (initialization)

// Temporal antialiasing and upscaling (initialization)

let desc = MTLFXTemporalScalerDescriptor()
desc.inputWidth = 1280
desc.inputHeight = 720
desc.outputWidth = 2560
desc.outputHeight = 1440
desc.colorTextureFormat = .rgba16Float
desc.depthTextureFormat = .depth32Float
desc.motionTextureFormat = .rg16Float
desc.outputTextureFormat = .rgba16Float

temporalScaler = desc.makeTemporalScaler(device: mtlDevice)
temporalScaler.motionVectorScale = CGPoint(x: 1280, y: 720)

10:35 - Temporal antialiasing and upscaling (per frame)

// Temporal antialiasing and upscaling (per frame)

// Encode Metal commands to draw game frame here...

// Setup per frame effect properties
temporalScaler.resetHistory = firstFrameOrSceneCut
temporalScaler.colorTexture = currentFrameColor
temporalScaler.depthTexture = currentFrameDepth
temporalScaler.motionTexture = currentFrameMotion
temporalScaler.outputTexture = currentFrameUpscaledColor
temporalScaler.reversedDepth = reversedDepth
temporalScaler.jitterOffset = currentFrameJitterOffset

// Encode scaling effect into commandBuffer
temporalScaler.encode(commandBuffer: cmdBuffer)

// Encode Metal commands for post processing/game UI drawing for frame here...

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

Tech Talks

WWDC23

WWDC22