Metal Performance Shaders Graphによる機械学習の加速

Metal Performance Shaders Graphによる機械学習の加速

Metal Performance Shaders Graphは、線形代数、機械学習、コンピュータビジョン、および画像処理のためのカスタマイズされた多次元グラフをビルド、コンパイル、および実行するのに役立つ計算エンジンです。Apple製品のMetalバックエンドを通じて、MPSGraphが人気のTensorFlowプラットフォームをいかにして加速できるかについて紹介します。グラフに制御フローを加えたり、グラフのコンパイルを管理してパフォーマンスを最適化したり、MPSGraphオペレーションを使用してわずか数行のコードで最もハードな演算アプリケーションを高速化する方法を確認します。

リソース
関連ビデオ

WWDC22
- Metalで機械学習を加速する
WWDC20
- Metal Performance Shaders GraphでカスタムMLモデルを構築する
ダウンロード

こんにちはサハーシュ･オーザです GPUソフトウェアエンジニアリングの担当です本日は同僚のユリヤ･ピリピヴと― Metal Performance Shader Graphの新機能について― お話しします MPSは画像処理線型代数学レイトレーシング機械学習などさまざまな分野向けの Metalベースの高性能 GPU促進型プリミティブのライブラリです MPSチームは Metalカーネルを最適化し― Appleのさまざまなプラットフォームで― 最高のパフォーマンスを提供します去年我々は一般的な目的に使用するGPU向けの― MPSGraphフレームワークを発表しましたこれはMPSフレームを同様に macOS iOS iPadOS tvOSに対応します MPSGraphの前置き情報に関しては― 去年のセッションをご覧ください本日の予定は以下の通りですお話することがたくさんあります MPSGraphを通じた ML推論と― トレーニングの加速について期待の新しい MPSGraph運用について MPSGraphでコンピレーションを― 管理する新しい方法についてそして最後に MPSGraphの新しいすべての制御フロー機能についてお話ししますでは同僚のユリアが― 推論とトレーニング加速についての― 最新情報をお届けしますサハーシュありがとうこんにちはユリヤ･ピリピヴです GPUソフトウェアチームに属しています本日は GPUのトレーニングと― 推論パフォーマンスの改善についてお話ししますではさっそく始めましょう MPSGrapフレームワークは GPUを加速するために Core MLやTensorFlowなど高度な― 機械学習フレームワークに導入されています今年我々はカーネルの改善と― スティッチングの導入で MPSGraphを― さらに最適化しましたこれによりMPSを使用する― 機械学習フレームワークの性能が大きく改善しましたではTensorFlowの Metal Pluginの― 詳細を見てみましょう TensorFlowは人気のあるプラットフォームで― GPUは有力な加速装置です今年我々はTensorFlow 2.5.でリリースされた― PluggableDevice Interfaceを使用して― 新しいMetal Pluginを開発しましたこれでMPSと MPSGraphを使って― Metalの力を TensorFlowにもたらしますこれによりMac プラットフォームGPUで― どんな機械学習モデルでも変更なしに訓練できますでは１つ実演してみましょうこのデモでは Jupyter環境を使用します私のM1システムには― 最新のTensorFlowがインストールされています物理デバイスのリストを作ると― CPUデバイスのみが登録されています
ここで画像分類転送学習など― 広範囲で使用されている人気の機械学習モデル Resnet50を定義します
現在のモデルは画像サイズが224ｘ224の標準のImageNet データセットを使用します
ご覧のとおり CPUで実行されている― 最初のエポックの現在のETAは約20分です先ほどご紹介した TensorFlow Metal Pluginをインストールして― 現在のネットワークの高速化が可能か確認しますこれには― pip install tensorflow- metalを使用し―
先ほど使用したResnet50 モデルに戻ります
ただし今回は― 新しいGPUデバイスが登録されていますこのGPUデバイスが Metal Pluginを使用した― TensorFlow プラットフォームの一部です
すべてのコールバックとネットワークの定義は― 同じままです ETAを比較するために再びネットワークを開始します GPU版の同じネットワークは― TensorFlow Metal Pluginを使用して― ４倍の速さで学習しています
では他のネットワークの詳細を見てみましょうこれはCPUに関連する主要な機械学習トレーニングベンチマークのパフォーマンスですすべてのベンチマークでスピードアップが確認され― M1 MacBook Proで最大８倍の速さになっています
新しいMetal Pluginのインストールは簡単です pip install tensorflow-macosを使い― ベースTensorFlowをインストールした後― pip install tensorflow-metalを使用し Metal Pluginをインストールします Metal Pluginは公式のPython― パッケージ/リポジトリで利用可能になります環境設定とインストールの詳細いついては― Metalデベロッパーリソースをご覧ください TensorFlowについては以上です次はCore MLの推論の加速についてお話しします
Core MLはAppleの機械学習推論フレームワークです MPSGraphにより Core MLに― 著しい改善が見られましたここにはM1の機械学習ネットワークの主要なクラスの推論の高速化が示されています NLP Appケーションに使用される標準的なTransformer ネットワークの― BERTは２倍の加速コンピュータービジョン AppResnet50は前回のリリースでテキスチャパスが微調整されていますこれはMPSGraphを介したバッファバックエンドで― パフォーマンスがさらに16％改善しました Core MLとTensorFlowのこれらの改善は― Convolution2Dなどの― MPSプリミティブが寄与していますここでは訓練と推測に使用される― NHWCとNCHW データレイアウトの― Convolution2Dの高速化を示しています推測と訓練の改善については以上です次はサハーシュが MPSGraphの新しい― 演算についてお話ししますユリヤありがとうではMPSGraphがサポートする― 新しい演算をご紹介します
我々は複数の種類の畳み込みや削減から― すべての基本的な数学的演算まで― 多数の演算をサポートしています今年は MPSGraphでさらに多くのことが行えるように― 特別な演算を追加しました３つの新しいプリミティブをご紹介しましょう制御依存性ステンシル演算子ギャザー演算子ですまずは制御依存性から見てみましょう制御依存性はグラフで明確に― 演算を命令するのに必要ですこれを把握するために― グラフ演算を正式に定義しましょうグラフの演算は３種類のエッジを介して― お互いにつながります入力テンソルはどのテンソルが― データ入力として機能するかを示し― 出力テンソルは演算が自ら作成しそして最後に制御依存性という― 特別なエッジがあります現行の演算がこれに依存していなくても― 演算の前に実行される必要がありますまたこのAPIは― 演算が MPSGraphにより最適化され― 除去されるのを防ぐ便利な方法も提供しますこれはバッチ正常化などの機械学習レイヤを実装する必要がありました実際に見てみましょうバッチ正常化は― MLトレーニングで使用される標準的なレイヤで― ネットワークをより安定にしより迅速に収束しますこれは訓練に使用されたバッチ正常化の計算グラフです最初に平均と偏差を算出しますこれらは推論に必要な移動平均と移動偏差を― 更新するために順番に使用されますしかしトレーニンググラフの結果には― これらの変数が必要でないため― MPSGraphが最適化し除去する場合がありますこれは最終正常化の演算子が― 制御依存性を使用する前に明示的に命令を出して解決できますこのAPIを使用する方法を示す― コードの簡単な例を見てみましょうここには指数演算子と代入演算子があります代入演算子はそれ以外では使用されていませんなので最適化され削除されていますこれを解決するには TargetOperationとして― 明示的に割り当てを設定しますしかしこれにはデベロッパーが― グラフ全体で依存関係を追跡する必要があります代わりに新しい制御依存性APIなら― 割り当てにより― 指数演算子を行えますこれでtargetOperationの必要性を削除でき― グラフが最適化し削除するのを防ぎます次はこれをコードで見てみましょう
まずは指数が依存する― 演算子を定義します次に指数演算子を定義する― dependentBlockを作成します最後にこのグラフの run APIを呼び出します targetOperationsの追跡は必要はありません制御依存性については以上です次はステンシル演算子についてお話しします
ステンシル演算子は画像畳み込みなどスライディングウィンドウ演算子の汎化ですこれらの演算子は有限要素法機械学習画像処理Appに不可欠ですこの５ポイント 2D ステンシルは― 一般的にラプラシアン演算に使用されますここに表示されているステンシル演算子は― この７ポイント 3D ステンシル図形のように― より高度な次元にも適用できます演算子を詳細に見てみましょうここに示されているように各出力値は入力テンソルの― ステンシルウィンドウで加重削減を計算します演算子は argmin/argmax パディングモードリフレクション ClampToZeroを含む― さまざまな削減モードに対応します MPSGraphはパフォーマンスの最良化に― スティッチングを有効化しますスティッチングのサポートでステンシル演算子は単一のカーネルを起動し複雑な数学的演算子を― 表現するのを可能にしますこの例を実際に見てみましょう局所応答正規化は Pytorchの演算で― チャネルディメンションの正常化に使用されますこれは新しいステンシル演算子を使用して― 簡単に実装できますこれがこの正常化の技術のグラフですステンシル演算子の周りの― 要素ごとの演算子だということがわかります新しい演算なしでは― 複数のディスパッチが必要になりますしかしスティッチングがサポートされているので単一ディスパッチでグラフ全体を起動できますステンシル演算子については以上です次はギャザー演算の― 改善についてです
今年新しいギャザー演算が― MPSGraphに追加されましたこれにより不連続なメモリ位置に― 任意サイズのスライスを― 効率的に複製できるようになります概念的にメモリのかたまりにある青で示された位置から値を収集していますこれらのギャザーレイヤは Embedding lookupや― 動的マトリックスの複製の実装を可能にします GatherNDはギャザー演算の強力な拡張子です通常は線型インデックスをサポートしますが― gatherND演算は n次元のインデックス化が可能ですこれによりｎ次元入力でのどの部分でもシームレスに― データを複製できるようになりますこの演算の入力はベクトルの座標で― それぞれの座標は― 入力テンソルの階級によります座標で指定されていない次元は― スライスのコピーにつながります例を使って 3D テンソルからの― 行スライスの集合の手順を見てみましょうこの例ではインデックスは２つの座標を指定し― マトリックスと行座標に対応していますインデックスを列にする３つ目の座標なしで― このgatherNDは行全体をコピーします結果のテンソルは入力マトリックスから― 集められた 2D マトリックスです GatherNDはほぼすべてのギャザー演算を表現し― すばらしいパフォーマンスを提供しますたとえばギャザー演算を使用した embedding lookupの実装方法をご紹介しましょう
Embedding lookupは一般的な演算で― 提供された一連の入力オブジェクトの― ベクトルの埋め込みに使用されます一般的にこのレイヤは組み込みマトリックスが生成され― 語彙の各単語に関連付けベクトルを組み込む― 言語処理ネットワークで使用されます語彙の単語のIDは― インデックスとしてギャザー演算に使用でき組み込みマトリックスは入力テンソルになります各単語IDに対応する行を― 得るには― ギャザーレイヤを使用し簡単に行えます座標を１つだけ指定し― それぞれの入力単語に対しすべての行がコピーされます結果として行に沿ったそれぞれの入力単語の― 組み込みベクトルの 2Dマトリックスになります今年発表した新しい― MPSGraphについては以上ですでは次はコンパイルAPIについてです今年我々は新しい― MPSGraphExecutable APIを発表しますこのコンパイルAPIは― ２つの方法でパフォーマンスを改善しますまずデベロッパーはグラフをいつコンパイルするか管理できるようになります次に据え置きの型推論でコンパイル呼び出し数を― 削減できるようになりますそれぞれの詳細を見てみましょう昨年我々はMPSGraphを定義し実行するための― 非常に便利なAPIを提供しました内部で評価が初めてリクエストされた時― MPSGraphは入力タイプにコンパイルを呼び出し― 内部で実行可能にしましたその後のあらゆる実行にも― MPSGraphはこの実行ファイルをキャッシュしコンパイルコストが再び支払われないようにしますユーザーは事前に― コンパイルを呼び出し― コンパイルのタイムラインを選択できるようになりました MPSGraphExecutableでコンパイルされた― 実行ファイルを直接 run呼び出しできますこれでいつグラフをコンパイルするか管理でき― 実行ファイルをキャッシュできるので― パフォーマンスがさらに向上しますこれをコードで見てみましょうこの簡単なグラフに２つのテンソルを追加しますコンパイルには演算と共にフィードのタイプと― 目標のテンソルを入力しますコンパイルされたグラフと実行ファイルを取得します評価メソッドも実に簡単です Metalコマンドキューと― 入力テンソルデータを入力しますこれが MPS graphのコンパイルの基礎です次は据え置きの型推論を介した― コンパイル呼び出し数の削減方法についてです型推論はユーザーが指定していないテンソルの形をMPSGraphが― 判断する必要のあるコンパイルパスですこのグラフでは― ２つの2D テンソルの行列乗算を行います入力テンソルの形がここに示されていますしかし出力テンソルの形はわかりません型推論パスが完了すると― 入力と演算の種類に基づき― 出力テンソルが判断されます標準のニューラルネットワークでは― ネットワークへの入力は必ずしも同じではありません自然言語処理では文や順序は― 長さが異なる場合があります CNNでは異なるサイズの画像が― 評価されるために入ってきます今年のコンパイルの更新前― すべての新しいサイズの画像に対し― グラフ全体で型推論を行うためコンパイルが― 呼び出されていました今デベロッパーの皆さんがこれを管理できるようになり型推論をオフにしたまま― コンパイルを呼び出すことができますこれで各反復に対しコンパイル時間を― 数百秒節約でき最高のパフォーマンスを得ることができます
MPSGraphランタイムはジャストインタイムで― エンコーディング中に推論しシームレスに実現しますコンパイル時間を節約するか― 最適なグラフを得るかのどちらかになります先ほどお見せしたコードの例で― これを見てみましょう
型推論パスを無効にするにはこのように― コンパイル記述子を設定することで実現できますコンパイルAPIについては以上です最後にMPSGraphの制御フローAPIについて― お話ししますこれらのAPIでグラフが以前に評価した― テンソルに基づき動的に演算をディスパッチできますこれはバッチ正常化や回帰型― ニューラルネットワークなど通常のAppですでは新規APIを使用せず MPSGraphで― “whileループ”を実装する方法を見てみましょう
まず述語を計算する― グラフを作成します次に述語は明示的なメモリ同期を通じて CPUで評価されます述語が正確な場合以前に作成されたグラフは― 新しい入力で実行されます逆に述語が不正確な場合ループは終了し２つ目の MPSGraphが作成され― 結果を消費するために実行されます新しい制御フローAPIならこれらの手順は単一の― MPSGraph実行の一部として起動させることができます
これで実装がより便利になります明示的メモリ同期プリミティブを― 導入する必要がなくなるからですではこれがいかに― 効率的になる可能性があるか見てみましょうこちらは新しいAPIのない― 制御フロータイムラインです CPUに最初のカーネルを暗号化しましたカーネルが完了したら― 結果を読むためにメモリの同期が必要ですこれはCPUがGPUの実行の完了を待つ必要があるため― 非効率的になる可能性があります同様に GPUも― CPUの同期と後続のエンコーディングが― 完了するのを待つ必要がありますこれが各反復で起こりますでは新しいMPSGraph APIを使用する際の― メリットをご説明します CPUエンコードの呼び出しは一度で済みます述語はGPUタイムラインで評価されるので― 同期のオーバーヘッドは発生しませんカーネルはバブルなしで起動します
では新しいAPIを見てみましょう
新しい制御フローAPIが３つ追加されました forループとwhileループに if/elseが追加されました if/elseの述語から始めましょうこれには皆さん精通されていますね述語に基づき― 異なるコードパスが実行されます Boolean述語と― コードブロックを“if”と “else”に提供しましたこの述語が正確なら― Thenブロックのコードを実行します逆に不正確の場合は― else分岐が実行されます if/else演算は― ニューラルネットワークに非常に便利です正規の使用法の１つは batchNormalization演算で訓練と推論で異なる動作を行います isTrainingブーリアンなら単一のグラフで― 正規化群で両方の変数を表すことができますコードでif/elseブランチを設定してみましょう
２つの入力スカラーテンソルの― 簡単な例を見てみましょう１つ目のテンソルが２つ目よりも小さい場合演算の合計を返しますさもなければ差を返しますまず述語を計算し― APIにパスします次に述語が正確な場合ブロックを計算しテンソルに追加します最後に述語が不正確な場合は― elseブロックを計算しテンソルを減算します次は forループの実装方法をお見せしましょう
forループ述語は一連の演算を― 固定回数ルーピングしますこれは訓練中に異なる長さの配列をループする必要のある反復的な― ニューラルネットワークでは一般的です forループには数々の numberOfIterationsが― 必要ですインデックスは0に初期化され― 各ループの反復で numberOfIterationsと― 比較されます numberOfIterationsよりも少ない場合は― forループのbodyを実行し― インデックスを1にインクリメントします
インデックスが numberOfIterationsと― 同等か上回る場合は― ループを終了しますこれをコードで実装してみましょう
ごく簡単な例を実装するとしましょう結果因子をある入力値に初期化します次にルーピングを４回行いそれぞれで別の入力値を使い結果を増やします最初にグラフテンソルを２つ作成します出力テンソルはinput0に初期化されます各反復で― このテンソルはinput1で掛けられます次にnumberOfIterationsを４に設定し― インデックス０から３までルーピングを４回実行します次にforループの bodyを作成しますこれは単一の反復を表す― 閉包で終了します各反復は現行の反復のインデックスと― 前回の反復の出力をパスします次に結果を更新して次の反復に― パスするために返します最後にこれらすべての引数を― グラフのforループAPIにパスします iterationArgumentsの bodyは― input0テンソルに初期化されます forループについては以上です次は whileループAPIを見てみましょう
このプリミティブは条件が適合する間一連の演算を実行しますこのAPIを使用するには２つのブロックの― コードが必要になります最初のブロックでは― 条件は述語を使って確認されます述語が正確な場合は後のブロックの― whileループのbodyが実行されますこれにより述語が再計算されますするとMPSGraphは前のブロックの― 次の反復でこの述語を使用します条件が不正確と判断された場合は― ループから退出します APIはbodyと条件評価コードブロックを交換することで― do-whileループの実装も可能にします非常に簡単な例を実装するとしましょう結果因子を入力値に初期化します次にしきい値を超えるまで各ループで― 乗数を使い結果を乗算しますまず前回の反復の結果を使用して― 述語を評価する一連のコードを定義しますまたこれにより前回の反復の結果が― returnTensors NSArrayに保管されますこの配列は入力として― 述語が正確な場合に次の反復で使用され― 述語が不正確な場合は― 最終結果として使用されます次にテンソルが乗算される whileループの bodyを定義しますプロダクトは条件ブロックが読み込むために返されます
最後にここに示されているようにこれらすべての引数を whileループにパスします initialInputs引数は前回のブロックの― 最初の反復で使用されます
whileループについては以上ですでは実際にこれを適用してみましょう画像合成は一般的な画像編集ユーティリティですオブジェクトが目標の画像に埋め込まれていますご覧のようにソース画像と― バックグラウンド画像で始めます次にソース画像のマスクを作成しますこのソース画像のマスクを― バックグラウンドに直接配置します見た目がよくありませんソース画像のエッジが見えています画像合成を使用して― これらの端を滑らかにします Laplacianエッジフィルタと反復線型ソルバーのペアで― これを達成するのが一般的です詳細を見てみましょうここにMPSGraphで画像合成を行うのに必要な― パイプラインがあります入力テンソルバックグラウンド画像ソース画像マスクオブジェクトで始めます次に反復線型ソルバーと― Laplacianエッジディテクターを使いますこの一連の演算の出力は― エッジが滑らかな合成画像です Laplacianエッジフィルタを見てみましょう Laplacian エッジフィルタの実装には― 一連のweightを使いソース画像の― ウインドウ表示を削減しますここに示されているようにこの実装にはステンシル演算子が使用されていますこの演算子を使用することで― ソース画像のエッジを確認できますここで計算されるエッジは― 線型ソルバーの入力として使用されますでは線型ソルバーを見てみましょう
バックグラウンド画像から始め― 線型ソルバーにフィードしますソルバーはこの画像を更新し― 結果がリードバックされますご覧のとおりこれは反復的なプロセスです反復が進行すると― 解法画像はエッジが完璧に― 一体化するまで改善を続けますループはエラーがユーザーの定義した許容範囲を下回ると終了しますこれにはwhileループが必要です MPSGraph制御フローAPIを使い― これを実装できるようになりましたではデモを見てみましょう我々はMPSGraphをiPad Pro Appとして使い画像合成ユーティリティを実装しました
ソース画像は上部ターゲット画像が下部にありますオブジェクトをソースからターゲットに― クローニングします最初に移動させたい牛の周りに― マスクを描く必要があります
ナイーブクローンではどうなるでしょう
エッジが粗く見た目がよくありませんでは先ほど説明した画像合成技術を― 試してみましょうまずバックグラウンド画像に― 初期解を設定しますこれを約50回反復します
明らかに解法画像はまだまとまっていませんあともう50回反復してみましょう
エッジが滑らかになりかなり自然になりましたプログラミングが簡単な MPSGraphなら― さまざまな技術を簡単に― 試すことができますバックグラウンド画像の代わりに― クローン画像でソルバーを初期化することで― より迅速に収束が行えますこの初期化モードを有効化するには― このトグルをオンにしますもう一度反復数を50回に設定し― ナイーブクローンを再設定しましょう
ソルバーをもう一度実行します 50回の反復後― 解法画像は改善されていますソース画像で始めているため― エッジの混色も少なめですすばらしいことですが― 我々が求めているのはエラーの許容範囲に基づき― 収束を自動化することですこれには whileループが必要で― このスイッチで有効にすることができますこれを新しいMPSGraph APIで実装しましたエラーの許容範囲はこのスライダーで調整できます画面では0.1,に設定されていますこれをナイーブクローンに戻しましょうソルバーを開始しますこのwhileループで私が回数を指定することなく約80回の反復で― 解法画像を収束しましたではこのバックグラウンドに― 他の動物をクローニングしてみましょうこの可愛い子犬で試してみます
トレーシングが完了しましたこの画像の右下に― 配置してみましょう
次は鳥で試してみましょう
バックグラウンドの右上に配置しますかなり素敵な画像になりましたデモは以上です
要約すると MPSGraphの導入は― CoreMLとTensorFlowのパフォーマンスの― 改善につながることがわかりました推論は２倍の速さになりました広範囲のAppを有効にするステンシル演算子を含む新しい計算プリミティブを― ご紹介しました
MPSGraphが提供する新しいコンパイルの― 柔軟性をご紹介しましたこれは推論ネットワークのレイテンシを削減します
そして最後にMPSGraphの― 新しい制御フロー機能をご紹介しましたこのAPIは機械学習ネットワークに加えいくつかの線型代数学 Appの― 鍵となります
皆さんにこれらの機能を― ご活用いただくことを楽しみにしていますありがとうございます WWDC 2021をお楽しみ下さい [アップビードな音楽]

// Execute the graph
let results = graph.run(feeds: [inputTensor: inputs],
                        targetTensors: [exp],
                        targetOperations: [assign])

9:01 - Control dependencies 2

// Create control dependency

let exp = graph.controlDependency(with: [assign],
                                  dependentBlock: { 
                                      return [graph.exponent(with: input, 
                                                             name: nil)]
                                  },
                                  name: nil)

// Execute the graph

let results = graph.run(feeds: [inputTensor: inputs],
                        targetTensors: [exp],
                        targetOperations: nil)

14:42 - Evaluation method

// Create the graph

let placeholder0 = graph.placeholder(shape: [1, 3], 
                                     dataType: .float32, 
                                     name: nil)

let placeholder1 = graph.placeholder(shape: [2, 1], 
                                     dataType: .float32, 
                                     name: nil)

let addTensor = graph.addition(placeholder0, 
                               placeholder1, 
                               name: nil)

// Compile the graph into an executable

let executable = graph.compile(with: nil,
                               feeds: [placeholder0: MPSGraphShapedType(shape: [1, 3], 
                                                                        dataType: .float32),
                                       placeholder1: MPSGraphShapedType(shape: [2, 1], 
                                                                        dataType: .float32)],
                               targetTensors: [addTensor],
                               targetOperations: nil,
                               compilationDescriptor: nil)

// Execute the graph into an executable

let fetch = executable.run(with: commandQueue,
                           inputs: [MPSGraphTensorData(input0),        
                                    MPSGraphTensorData(input1)],
                           results: nil,
                           executionDescriptor: nil)

16:38 - Disabling the type inference pass

// Create the graph compilation descriptor

let descriptor = MPSGraphCompilationDescriptor()

// Disable type inference

descriptor.disableTypeInference()

// Compile the graph into an executable

let executable = graph.compile(with: nil,
                               feeds: /* feeds */,
                               targetTensors: /* target tensors */,
                               targetOperations: nil,
                               compilationDescriptor: descriptor)

// execute the graph

19:22 - If/else in batch normalization

// Different behavior during inference and training

let results = graph.if(isTraining,
                       then: { ... },    // compute mean and variance
                       else: { ... },    // use running_mean and running_variance
                       name: nil)

19:46 - If/else

let predicate = graph.lessThan(a, 
                               b, 
                               name: nil)

let results = graph.if(predicate,
    then: {[
        graph.addition(a, 
                       b, 
                       name: nil)
    ]},
    else: {[
        graph.subtraction(a, 
                          b, 
                          name: nil)
    ]},
    name: nil)

20:58 - For loop 1

var result = input0

for i in 0..<4 {
    result *= input1
}

21:12 - For Loop 2

// Initialize inputs

let input0 = graph.placeholder(shape: [], 
                               dataType: .int32, 
                               name: nil)

let input1 = graph.placeholder(shape: [], 
                               dataType: .int32, 
                               name: nil)
        
let numberOfIterations = graph.constant(4, 
                                        shape: [], 
                                        dataType: .int32)

21:33 - For Loop 3

// Define Body

let body = {
    (index: MPSGraphTensor, iterationArguments: [MPSGraphTensor]) -> [MPSGraphTensor] in
        let iterationResult = graph.multiplication(iterationArguments[0], input1, name: nil)
        return [iterationResult]
}

21:52 - For Loop 4

// Create for loop operation

let result = graph.for(numberOfIterations: numberOfIterations,
                       initialIterationArguments: [input0],
                       body: body)

22:51 - While loop 1

var result = initialValue

while result < threshold {
    result *= multiplier
}

23:01 - While loop 2

// Evaluate condition

let condition = {
    (inputs: [MPSGraphTensor], returnTensors: NSMutableArray) -> MPSGraphTensor in
        let predicate = graph.lessThan(inputs[0], threshold, name: nil)
        returnTensors.add(inputs[0])
        return predicate
}

23:22 - While loop 3

// Define body

let body = {
    (inputs: [MPSGraphTensor]) -> [MPSGraphTensor] in
        let iterationResult = graph.multiplication(inputs[0], multiplier, name: nil)
        return [iterationResult]
}

23:33 - While loop 4

// Create while loop operation

let results = graph.while(initialInputs: [initialValue],
                          before: condition,
                          after: body,
                          name: nil)

25:00 - Edge filter

// Apply the laplacian edge filter on the source image

let edges = graph.stencil(with: source, 
                          weights: laplacianWeights, 
                          descriptor: desc, 
                          name: nil)

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC22

WWDC20