Xcodeを使用したMetalベースCore Imageカーネルの作成

Xcodeを使用したMetalベースCore Imageカーネルの作成

Metal Shading Languageで書かれたCore ImageカーネルをAppに統合してロードする方法について学びます。また、これらの画像フィルタを適用して独自のエフェクトを作成する方法についても説明します。Metal Shading Languageで書かれたCore ImageカーネルのXcode規則と命名規則の使用方法を紹介します。MetalおよびMetal Shading Languageを用いて、Core Image APIを効果的かつ最適に使用する方法について説明します。

リソース
- Core Image
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC21
- Core Imageカーネルの改善点
- ProRAW画像の撮影と処理
WWDC20
- 動画AppのためのCore Imageパイプラインの最適化
- Discover Core Imageデバッグ技術
ダウンロード

こんにちは WWDCへようこそ
“Xcodeを使用したMetalベースCore Image カーネルの作成” 私はデヴィッド･ヘイワード Core Imageチームのエンジニアです今日ご説明するのは MetalベースのCore Imageカーネルを Xcodeでビルドする方法ですカスタムCIKernelをMetalで書く利点とは？１つはCIKernelの標準機能である― 自動タイリングや連結などが使えることまた Metalで書けば― アプリケーション構築時に作業を移行し runtime compile timeを削減できます gather readsやgroup writes half float mathなどの高度な機能も利用可能で入力時のシンタックスハイライトやビルド時のシンタックスチェックにより開発効率がアップします
これらの利点を踏まえ MetalベースのCore Imageカーネルをアプリケーションに追加する方法を説明します手順は５つですプロジェクトにカスタム構成ルールを追加するプロジェクトに.ci.metalソースを追加するカーネルを書く CIKernelオブジェクトを初期化するそしてカーネルを適用して新しいCIImageを作る従来のコンピュートシェーダーやグラフィックシェーダーと違い Core ImageのMetalのコードは特殊フラグにコンパイルしリンクする必要があります２つのカスタム構成ルールをプロジェクトのターゲットに追加しフラグを自動で使うのがいいでしょう
まずプロジェクトのターゲット設定で末尾が.ci.metalのファイルに１つ目の構成ルールを追加しますこの拡張子のファイルには fcikernelフラグ付きのMetalコンパイラを呼び出す１行スクリプトを実行しますこの構成ルールは .ci.airで終わる出力バイナリを生成します次に.ci.airで終わるファイルに２つ目のルールを追加しますこの拡張子のファイルには cikernelフラグ付きのMetalリンカを呼び出す別の１行スクリプトを実行します
この構成ルールはアプリケーションのリソースディレクトリに― .ci.metalで終わる出力を生成します
カスタム構成ルールを追加したらプロジェクトに.ci.metalソースを追加します「ファイル」メニューで “新規”“ファイル”を選択し “Metalファイルを追加する”を選択
末尾が.ciのファイル名を作成しますこれでプロジェクトの新規ファイルは末尾が.ci.metalになります今日お見せするカーネルは “Edit and Playback HDR Video With AVFoundation”のプレゼンでも示されたものです
このカーネルはHDRビデオの明るい拡張範囲を強調する― アニメーション化されたゼブラストライプエフェクトを適用します
このエフェクトのカスタムCIKernelを書くのは簡単ですソースの一番上にCoreImage.hヘッダをインクルードしますこれで普通のあらゆるMetalクラスと― Core Imageが提供する追加のクラスにアクセスできます
次はカーネルの関数を宣言します extern "C"です例はCIColorKernelです関数はfloat4ピクセルを返し引数を取ります
最初の引数はcoreimage::sample_t これは入力画像のピクセルを表しますこのピクセルはリニアでプリマルチプライされたRGBA float4です SDRまたはHDR画像に適しています
最後の引数はcoreimage::destinationですピクセルの座標を与えて返しますこのカーネルの実行には dest.coord().xとdest.coord().y値を使いどの対角線にいるかを決定しますそしてゼブラストライプを使うべきか否かを簡単に計算しますゼブラストライプを使い現状のピクセルサンプルが普通のSDRwhite of 1より明るい場合明るい赤のピクセルを返しますそうでなければ入力サンプルを変更せずに返します Core Imageカーネルの Metal Shading Languageについての詳細文書は developer.apple.comにて PDF形式でダウンロードできます MetalベースのCore Imageカーネルのクラスや gather readsやgroup writesなどのより高度な機能も記載されていますご説明する最後のステップはカーネルをロードし適用して新しい画像を作るSwiftコードにあります通常カーネルを使うのは CIFilterサブクラスで inputImageや他のパラメータのような inputプロパティを持ちます
静的プロパティを使いフィルタで CIKernelオブジェクトをインスタンス化すればコンパイルされたmetallibリソースが最初に必要な時だけロードされます
最後にCIFilterサブクラスにoutputImage プロパティをオーバーライドさせますこのゲッターでは静的プロパティからカーネルを取りそのapplyメソッドで新しい画像を作ります
XcodeでMetalベースのCore Imageカーネルをビルドする手順は以上ですプロジェクトにカスタム構成ルールを追加するカーネルを書いてプロジェクトに追加するそしてCIKernelオブジェクトを初期化し適用して新しい画像を作るこの手順がアプリケーションの画像やビデオに最高の視覚効果をもたらすでしょうご視聴ありがとうございました

3:08 - Put your kernels in .ci.metal sources

// MyKernels.ci.metal
#include <CoreImage/CoreImage.h> // includes CIKernelMetalLib.h
using namespace metal;

extern "C" float4 HDRZebra (coreimage::sample_t s, float time, coreimage::destination dest) 
{
	float diagLine = dest.coord().x + dest.coord().y;
	float zebra = fract(diagLine/20.0 + time*2.0);
	if ((zebra > 0.5) && (s.r > 1 || s.g > 1 || s.b > 1))
		return float4(2.0, 0.0, 0.0, 1.0);
	return s;
}

4:58 - Loading your kernel and applying it to create a new image

class HDRZebraFilter: CIFilter {
    var inputImage: CIImage?
	var inputTime: Float = 0.0

    static var kernel: CIColorKernel = { () -> CIColorKernel in 
	    let url = Bundle.main.url(forResource: "MyKernels", 
                                withExtension: "ci.metallib")!
		let data = try! Data(contentsOf: url)
		return try! CIColorKernel(functionName: "HDRzebra",                            fromMetalLibraryData: data)
	}()

  	override var outputImage : CIImage? {
		get {
			guard let input = inputImage else {return nil}
			return HDRZebraFilter.kernel.apply(extent: input.extent, 
											 arguments: [input, inputTime])
		}
	}
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC21

WWDC20