Core Imageカーネルの改善点

Core Imageカーネルの改善点

Metal Shading Language で書かれた Core Image カーネルをAppに追加する方法を確認します。Metal Shading Languageで記述されたCore ImageカーネルのためにXcodeルールと命名規則をどのように使用するかを検討し、Core Imageカーネルに役立つMetalのStitchable関数とダイナミックライブラリ機能を理解できるようにします。

リソース
- Core Image
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC21
- ProRAW画像の撮影と処理
WWDC20
ダウンロード

♪ (Core Imageカーネルの改善点) みなさんようこそ私はDavid Haywardです私は Core Imageチームの上級エンジニアですそして今日はXcodeプロジェクトに Metal Core Imageのカスタムカーネルを追加する際の最新のベストプラクティスを紹介する短めのプレゼンテーションを行いますこのプレゼンテーションではMetalでカスタムCIカーネルを書く一般的なメリットについて説明します次に Metal CIKernelsを構築するために推奨される2つの方法を紹介しますそしてこれらをプロジェクトに追加する方法を順を追って説明しますまず最初にMetalでカスタムCIKernelsを書くことのメリットを確認しましょう MetalでCIKernelsを書くことで自動タイリングや連結などの Core Imageの機能にアクセスできるようになりますカーネルのコンパイルにかかる時間の一部をランタイムからAppのビルド時に移行することで Appのパフォーマンスが向上しますそうすることでカーネルは gather-reads　group-writs half-float mathなどのハイパフォーマンス機能にアクセスできるようになります大事なことを言い忘れてましたが入力時のシンタックスハイライトやビルド時のインラインエラーチェックにより開発者の生活をより快適にしてくれますではいいモチベーションでここからはMetal Core Imageカーネルを Appに追加する方法を順を追って説明します CIKernelsをプロジェクトに追加するには現在 2つの方法が推奨されていますので両方の方法を詳しく説明しますカーネル関数をextern 「C 」として指定しカスタムビルドフラグを使用してビルドする必要があるためここでは extern方式と呼ぶことにします 2つ目の方法は iOS 15と macOS 12で新たに採用されましたカーネル関数がstitchableとして帰属していることが必要なのでこれをstitchable法と呼ぶことにします Metal Dynamic Librariesがその実装に使用されていますどちらの方法でも一般的には4つのステップを踏むことになりますまずはプロジェクトを適切に設定することです次にMetal CIKernelソースファイルをプロジェクトに追加します 3つ目はMetal CIKernelコードを書くことです 4つ目はSwiftやObjective-Cコードを書いてカーネルを初期化して適用し新しいCIImageを作成しますまずextern CIKernelsを使用する際の 4つのステップをプロジェクトの設定から説明しますこのCore Image Metalのコードは従来のMetalのコンピュートやグラフィックシェーダとは異なり特別なフラグを立ててコンパイルやリンクする必要がありますプロジェクトターゲットに2つのカスタムビルドルールを追加してこれらのフラグを自動的に使用することをお勧めしますまずプロジェクトのターゲット設定で .ci.metalで終わるファイルに対するビルドルールを追加しますこの拡張子のファイルに対してこのルールは必要な-fcikernel フラグを指定して Metal コンパイラを呼び出す 1 行のスクリプトを実行しますこのビルドルールでは出力バイナリは .ci.air で終わります次に .ci.airで終わるファイルを対象とした 2つ目のビルドルールを追加しますこの拡張子のファイルに対してこのルールは必要な-cikernel フラグを指定して Metal リンカを呼び出す 1 行のスクリプトを実行しますこのビルドルールでは AppのResourcesディレクトリに .ci.metallibで終わる出力が生成されますこれでカスタムビルドルールを追加することができましたのであとは .ci.metalのソースをプロジェクトに追加するだけですそのためにはFileメニューから新しいMetalファイルを追加することを選択しその新しいファイルに .ci.metalで終わる名前をつけます次のステップではCIKernelを Metalソース・ファイルに書きますまずソースの一番上に CoreImage.hというヘッダーをインクルードし Core Imageが提供するすべてのクラスにアクセスできるようにします Core Imageが認識するためにはカーネルを extern 「C」として指定する必要があります実際のカーネル実装の内容はあなたの想像力にお任せしますできることの一例として「AVFoundationを使用したHDR動画の編集と再生」という WWDC 2020のプレゼンテーションをご覧になることをお勧めします最後のステップはカーネルをロードするためのSwiftコードを追加しそれを適用して新しいイメージを作成することですカーネルは通常CIFilter のサブクラスで使用され inputImage やその他の入力パラメータなどのプロパティを持ちますフィルターはCIKernelオブジェクトをスタティック型のプロパティにインスタンス化することをお勧めしますこれにより metallibリソースの読み込み作業は最初に必要になったときに一度だけ行われます先ほど説明したカスタムビルドルールの関係でソースと同じ名前で拡張子が.ci.metallibのリソースURLを指定する必要があります最後にCIFilterのサブクラスは outputImage プロパティをオーバーライドする必要がありますゲッターではスタティック型のプロパティからカーネルを取得しその適用メソッドを使って入力されたプロパティに基づいて新しい画像を作成します以上 extern CIKernelsの構築方法をご紹介しましたそれでは stitchable なCIKernelsを構築するための新しいプロセスについて説明します stitchable方式では Xcodeプロジェクトの設定変更は 1回だけで済みますこの設定は Core Imageフレームワークに対してリンクするようMetalリンカーに指示しますこれを行うにはプロジェクトのターゲット設定にアクセスし「Other Metal Linker Flags」のビルド設定に「-framework CoreImage」という値を追加します stitchable CIKernelsはカスタムビルドルールを必要としないため特別なサフィックスなしで.metalソースを簡単にプロジェクトに追加することができますカーネルは1つまたは複数のソースファイルに追加することができますデフォルトでは Xcodeはそれらすべてを1つの .metallibリソースにビルドします次のステップではCIKernelを Metalソース・ファイルに書き込みます前述のようにCore Imageクラスにアクセスするには CoreImage.hヘッダーをインクルードしますしかしこの方法ではCore Imageで認識するためにはカーネルがstitchableであることが前提となります繰り返しになりますが最後のステップはカーネルをロードするためのSwiftコードを追加しそれを適用して新しいイメージを作成することです stitchable CIKernelsの唯一の変更点はデフォルトの.metallibという標準的な名前のリソースを単純にロードすることです以上でstitchable CIKernelsを構築するプロセスを終了しますこの方法を使うことでいくつかの利点があることを述べておきます Stitchableカーネルは他の Metalライブラリとリンクできますまた入力パラメータとして整数および符号なし整数のベクトル型をサポートするようになりましたもう1つの特定分野の利点はstitchableカーネルがランタイムにソースからコンパイルできることですこの機能は最初のコンパイル時間が長くなるためほとんどのAppでは使用しないでくださいそうは言っても中にはこの順応性から恩恵を受ける Appのクラスもありますこのプレゼンテーションでは最後にもう1つトピックを紹介します stitchable CIKernelの実装は 2つの重要なMetalの機能によって決まります 1つ目は Metal Shader Language の新しいバージョン2.4です数ある中でもこのバージョンではstitchable属性がサポートされておりコンパイラが各関数に追加のメタデータを関連付けるようになっています 2 つ目はMetal Dynamic Libraries機能ですこれはカーネルがCore Image Metalクラスにリンクできるように使用されますこれらのMetalの機能の詳細についてはプレゼンテーションの「Metalのコンパイルワークフロー」をご覧くださいただしメタルダイナミックライブラリは一部のグラフィックスデバイスでしかサポートされてなく要注意です具体的にはA11以降のiPhoneとiPad Apple Siliconを搭載したすべてのMac AMD NaviおよびVega GPUを搭載したIntel製Macです titchable CIKernelsを使用する前にAppは Metalデバイス・プロパティの supportsDynamicLibrariesをチェックする必要があります以上で Metal CIKernelsをAppに追加するために推奨される2つの方法について順を追った説明を終わりますそれぞれの方法についてプロジェクトの設定カーネルソースの記述カーネルオブジェクトの初期化の方法を説明しましたこのことでAppの画像や動画に素晴らしい視覚効果を加えることができるようになるといいですねありがとうございました　引き続き WWDC 2021をお楽しみください ♪

// MyKernels.ci.metal
#include <CoreImage/CoreImage.h> // includes CIKernelMetalLib.h

using namespace metal;

extern "C" float4 myKernel (coreimage::sample_t s, 
                            float param, 
                            coreimage::destination dest) 
{
  float4 result = s;
  
  // Example code to create striped pattern
	float diagLine = dest.coord().x + dest.coord().y;
	float stripe   = fract(diagLine/20.0 + param*2.0);
  
  // Color range check
	if((stripe > 0.5) && ((s.r > 1) || (s.g > 1) || (s.b > 1)))
		result = float4(2.0, 0.0, 0.0, 1.0);
  
	return result;
}

4:32 - Load your extern CI kernel and apply it to create a new image

class MyFilter: CIFilter {
    var inputImage: CIImage?
	var inputParam: Float = 0.0
    static var kernel: CIColorKernel = { () -> CIColorKernel in 
	  let url = Bundle.main.url(forResource: "MyKernels", 
                              withExtension: "ci.metallib")!
      let data = try! Data(contentsOf: url)
	  return try! CIColorKernel(functionName: "MyKernel", 
                              fromMetalLibraryData: data)
	}()
	override var outputImage : CIImage? {
      get { guard let input = inputImage else { return nil }
		return MyFilter.kernel.apply(extent:input.extent, 
                                 arguments:[input, inputParam]) }
	}
}

6:18 - Stitchable CI Kernel

// MyKernels.ci.metal
#include <CoreImage/CoreImage.h> // includes CIKernelMetalLib.h

using namespace metal;

[[stitchable]] float4 myKernel (coreimage::sample_t s, 
                                float param, 
                                coreimage::destination d) 
{
  float4 result = s;
  
  // Example code to create striped pattern
	float diagLine = dest.coord().x + dest.coord().y;
	float stripe   = fract(diagLine/20.0 + param*2.0);
  
  // Color range check
	if((stripe > 0.5) && ((s.r > 1) || (s.g > 1) || (s.b > 1)))
		result = float4(2.0, 0.0, 0.0, 1.0);
  
	return result;
}

6:40 - Load your stitchable CI kernel and apply it to create a new image

class MyFilter: CIFilter {
    var inputImage: CIImage?
	var inputParam: Float = 0.0
    static var kernel: CIColorKernel = { () -> CIColorKernel in 
	    let url = Bundle.main.url(forResource: "default", 
                                withExtension: "metallib")!
		let data = try! Data(contentsOf: url)
		return try! CIColorKernel(functionName: "MyKernel", fromMetalLibraryData: data)
	}()
	override var outputImage : CIImage? {
      get { guard let input = inputImage else { return nil }
		return MyFilter.kernel.apply(extent:input.extent, arguments:[input, inputParam]) }
	}
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC21

WWDC20