Metalで機械学習を加速する

Metalで機械学習を加速する

Metalを使用して、macOSでのPyTorchモデルトレーニングを加速する方法をご覧ください。TensorFlowトレーニングサポートの最新情報をはじめ、MPS Graphの最新機能や操作、優れたパフォーマンスで機械学習のあらゆるニーズに対応するベストプラクティスを紹介します。機械学習でのMetalの使用について、詳しくはWWDC21の「Metal Performance Shaders Graphによる機械学習の加速」をご覧ください。

リソース
- Metal
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC23
- Metalアプリにおける機械学習の最適化
WWDC22
- 機械学習を組み込んだAppの開発手法
- Metal 3の紹介
WWDC21
- Metal Performance Shaders Graphによる機械学習の加速
ダウンロード

♪ ♪
WWDC 2022へようこそ GPUSW EngineerのDhruvaです同僚Matteoと共に今年Metalに導入された機械学習の新機能や機能拡張を紹介します機械学習はMLパイプラインの中で最も計算量の多いプロセスです GPU は MLワークロードを得意としています Metal 機械学習API は MPS - Metal Performance Shadersのフレームワークを通じて公開されています MPSは画像処理や線形代数 Ray Tracing機械学習など高性能GPUプリミティブの集合体です Metalカーネルは最高の性能を発揮する様に最適化されています例えばMPSImageCannyフィルタは入力画像のエッジマップを返します画像の境界検出でよく使われる操作です今年 Cannyフィルタは４Kの高解像度画像を最大８倍高速に処理することができます MPS Graph は汎用的な計算グラフで MPSフレームワークに乗っているGPUの為の多次元テンソルへのサポートを拡張しています MPS Graphの使い方は前回のセッションをご覧ください CoreMLやTensorflowの高レベルMLフレームワークは MPS Graphの上に乗っています TensorFlow Metalプラグインを使用すると GPU上でTensorFlowネットワークを高速化できます TensorFlowの活用方法については昨年のセッションをご覧くださいこれから３つのトピックを取り上げますまずApple GPU に搭載される最新のMLフレームワーク PyTorch を紹介します次に TensorFlow の追加拡張を説明します MPS Graphフレームワークの新機能を最後に説明します
あなたのMacのGPUでPyTorchのネットワークを高速化できるようになります PyTorchはオープンソースの機械学習として有名です最も要望の多かった機能は Appleシリコン上での GPUアクセラレーションのサポートでした PyTorchのエコシステムに新MPSバックエンドを導入し PyTorch に Metal のパワーをもたらします PyTorch 1.12 リリースの一部となる予定です MPSバックエンドはPyTorchの演算カーネルと Runtime フレームワークを実装しています操作は MPS Graph とMPS に呼び出され RuntimeコンポーネントはMetalを使用しますこれにより PyTorch はMPSの高効率カーネルと Metalのコマンドキューとコマンドバッファ同期プリミティブを使用することができます
オペレーションカーネルと PyTorch MPS Runtimeコンポーネントはオープンコードの一部で PyTorch 公式 GitHubにマージされています MPSのPyTorchバックエンドの使い方は３ステップですまずPyTorch 1.12からpip install torch で基本パッケージをインストールします Pythonの公式パッケージリポジトリから入手可能です環境設定やインストールの詳細は Metalデベロッパリソースページをご参照ください次にPyTorchをインポートし MPSデバイスを作成します MPSデバイスバックエンドが利用可能な場合はそれを使用しそうでない場合はCPUにフォールバックします MPSデバイスを使用する為にモデルや入力を変換しますデモするためにtorchvisionから事前にトレーニングされたResNet50モデルで推論を行う例を紹介しますデフォルトではCPU上でモデルが動作します “to”メソッドでMPS デバイスを使用するモデルに変換できますこれはモデル内部の中間テンソルも高速化されたMPSバックエンドの使用を保証するものです最後にモデルを実行できます例ではランダムなテンソルを MPSモデルに渡していますデフォルトでは全てのテンソルは CPU上に配置され MPSバックエンドを使用するためにはここでmpsDeviceも提供する必要がありますこのテンソルに対する演算は全てGPUで高速化されます最後にサンプル入力をMPSモデルに渡して予測を得ますこれでMPSデバイスの使い方が分かったところで PyTorch の動作例を紹介しますアーティストになりたいと思っていましたそこで機械学習とGPUを使用して StyleTransferネットワークによる作品制作を手掛けることにしました画像に多様なスタイルを適用することができます今回はゴッホの『星月夜』の作風をこの猫の絵にどう活かすかを学ぶのが目的です新しいMPSデバイスではGPUを使って PyTorchのネットワークを大幅に高速学習させる事ができますこれを実証する為にM1 MaxでCPUとGPUの両方で同時にこのネットワークのトレーニングを開始しますこのスタイルを学習するには数千回の反復が必要ですが GPUは短時間で合理的なモデルに収束できます
StyleTransferに加え全ての PyTorchベンチマークで驚くべきスピードアップを確認しました M1 Ultraでは最大20倍平均8.3倍の高速化が確認されました PyTorchは機械学習モデルを簡単に開発でき Apple GPUを使って学習して時間を大幅に節約できます次にTensorFlowの機能強化について説明します加速化したTensorflow Metalは Tensorflowバージョン2.5から Tensorflow Metalプラグインを通じて利用できますいくつかの機能追加や改良が行われましたこれには大きなバッチによるトレーニングの改善新しいオペレーションとカスタムオペのサポート RNNの改善やトレーニングなどが含まれます TensorFlow Metalプラグインのリリースは TensorFlowメジャーリリースに合わせて行われるため TensorFlowパッケージをアップデートして最新の機能と改善点を入手するようにして下さいまずは大きなバッチサイズから始めましょう今年はTensorFlow-Metalのソフトウェアの改良により Appleシリコンの利点を活用できますこれは様々なバッチサイズでResNet50モデルを学習させた場合のスピードアップを表してますデータからバッチサイズを大きくするとデータ更新がより真の値に近くなる為性能が向上すると分かります AppleシリコンのUMAにより大規模なネットワークや大きなバッチサイズを実行することができますこれでクラウドクラスターに分散させることなく１台のMac Studioで実行できるようになりますまたAppleシリコンはワットあたりの動作が高くネットワークが今まで以上に効率的に動作します次に新しい操作とカスタムについて説明します Tensorflow Metalプラグインでは argMin all pack adaDeltaなど様々な新しい操作の GPUアクセラレーションを備えていますしかし現在tensorflow APIでサポートのない操作の為に GPUアクセラレーションが必要な場合はどうすれば良いでしょうか？カスタムオペレーションを作成する必要がありますこちらは単純な畳み込みネットワークを 2回反復して動作させた例ですこれはGPUとCPUで行われる作業をそれぞれ上と下で表していますネットワークは畳み込み・最大プール化そしてSoftmax Cross Entropy Lossを行いますこれらの操作はすべて TensorFlow Metalプラグインで MPS Graphを通じて GPUアクセラレーションが行われますしかし自作の損失関数を使いたいと思うかもしれませんこの自作の損失のために MPS GPUアクセラレーションがなければその作業はCPUのタイムラインで実行する必要がありGPUを消耗させますこれをGPUで行うと遥かに高い動作を発揮できます自作操作を実装する為に TensorFlow-Metal Streamのプロトコルを理解する必要があります GPUの操作を暗号化するためのプロトコルです GPUカーネルを暗号化する際に使用する MTLCommandBufferへの参照を保持しますまた暗号化処理中に複数のスレッドから処理が投入され CPU側の同期を取る為に dispatch_queue を公開しています Commit又CommitAndWaitで作業をGPUに提出します CommitAndWait は現在のコマンドバッファが終了するまで待機しシリアル化された送信を観察できるデバッグツールですではカスタムオペ実装方法を見てみましょうカスタムオペレーションを作るには３ステップありますまずオペレーションを登録します次にMetalStreamを使った操作を実装します最後トレーニングスクリプトにインポートしますまず登録してみましょう TensorFlowコアで公開してる REGISTER_OPマクロを使用して Opのセマンティクスと TensorFlow-Metalプラグインでの定義方法を指定します次にTensorFlow_MetalStreamを使用して Opを実装しますまず Compute 機能の定義から始めますさて関数内部でオブジェクト TensorFlow_Tensorを取得しアロケーションが必要な出力を定義します Metalストリームのコマンドバッファでエンコーダを作成します次にカスタムGPUカーネルを定義しますあなたの Op は Metalストリームが提供する dispatch_queue の中にエンコードされますよって複数スレッドの送信が確実にシリアル化されます
TensorFlow_MetalStream プロトコルで提供されるメソッドを使用してカーネルを実行します
最後に割り当てたテンソルの参照を削除します
最後にこのオペレーションをトレーニングスクリプトにインポートして使用を開始しますここではzero_out.soというカスタムopの共有ダイナミックライブラリをビルドします .soファイルをビルド・インポートする方法は Metalデベロッパーリソースを参照くださいこの例ではTensorFlowの load_op_libraryを使用しオプションの手順で操作をトレーニングスクリプトにインポートしていますこれでPythonのラッパーの様動作しトレーニングスクリプトの中で自作Opを呼び出すことができます次に面白いAppの例を見せます Neural Radiance Fields (NeRF)ですより良いアルゴリズムの為に GPUアクセラレーションを有効にしてネットワークの高性能自作Opを作りました
NeRFは３Dビュー合成用のネットワークです NeRFは学習用に様々な角度から撮影した画像を入力します NeRFネットワークは２つの多層パーセプトロンを積み重ねたもので出力はモデルの体積を表現していますリアルタイムトレーニングの重要な性能最適化はハッシュテーブルの実装を使用します更新で多層パーセプトロンのサイズを大幅に小さくできましたハッシュテーブルをネイティブにサポートしていないので自作Op機能を使って Metalプラグインに実装しています GPUで高速化することで NeRF学習を更に高速化できますまずはこのMacBookで独自の多層パーセプトロンを実行します
合理的なレンダリングには最低20回のエポックが必要ですが１回のエポックに約100秒かかっていますつまり約30分かかるということですそこで事前に30分放置したチェックポイントファイルから学習を再開しますエポック20から開始です 30分程度でも３Dモデルがぼやけて不鮮明ですより明確に３Dモデルを学習するには長い学習時間が必要ですカスタムハッシュテーブルを使用しない多層パーセプトロンのアプローチでは遅すぎますそれではMacBookでカスタムハッシュテーブルを使用した最適化版をキックオフしますこの実装では明確なモデルを描画することができ各エポックの学習には僅か10秒しかかかりませんこのプロジェクトの詳細については Metalデベロッパリソースをご参照下さい
NeRFは独自のカスタム操作に GPUアクセラレーションを実装してネットワークを高速化する方法を示す数多くのネットワークの１つに過ぎません是非あなたの工夫を凝らしたカスタムを教えて下さいね Apple GPUを使ってMLワークロードのトレーニングを実行する方法を紹介しますワークロードのトレーニングを分散するためにトレーニングスクリプトの複数インスタンスを別々のプロセスで実行して単一の反復評価ができます
中央データストアからデータを読み込みますその後モデルを実行し勾配を計算します次に各プロセスは勾配を平均化し次の反復前に各プロセスが同じ勾配を持つようにこれを互いに伝達します最後にモデルを更新し全ての反復を終えるまでこのプロセスを繰り返します TensorFlowで実演するために Horovodという有名なオープンソースを使った分散学習の例を紹介します
リングオールリデュース方式を採用していますこのアルゴリズムではＮ個のノードが各２個のピアと複数回通信を行いますこの通信を利用してワーカープロセスは各反復の前に勾配を同期させます４台のMac StudiosをThunderboltケーブルで接続しその様子を紹介します画像の識別器であるResNetを学習させます各Mac Studioの横にあるバーはネットワーク学習時の GPU使用率を示しています Mac Studio１台の場合約200枚／秒の性能です Thunderboltで接続したもう１台を追加すると両方のGPUをフルに活用できるため１秒間に400枚とほぼ倍増しますさらに２台を接続すると 800枚／秒まで性能が向上します入出力バウンド作業量に対しほぼ直線的に拡張できます
さてここでTensorFlowの分散学習性能を見ましょうこれは１台２台４台使用時の相対的高速化を表していますリングトポロジで接続され最新TensorFlow-Metalと Horovod で ResNet やDistilBERT などの演算結合型TensorFlow-networkが実行されていますベースはMac Studio １台での性能ですグラフはネットワーク性能がGPUの追加に応じてスケールアップすることを示しており複数のデバイスのGPUを活用してトレーニング時間を短縮し全てのAppleデバイスを最大限に活用できます
今年 TensorFlowに搭載されたすべての改良と機能はこのグラフに集約されており CPU実装に対する相対的な動作を示しています MPS Graphフレームワークの新機能をMatteoに説明してもらいますありがとうDhruva 私はGPUのSEをしているMatteoといいます PyTorchとTensorFlowはMPS Graph上にあります一方MPS GraphはMPSフレームワークが公開する並列プリミティブを使用して GPU上の作業を高速化します今日はMPS Graphを使って計算ワークロードをさらに高速化するための２つの機能についてお話しますまず２つのグラフ間で作業を同期させることができる新しい共有イベントAPI を紹介します次にMPS Graphを使ってさらに多くのことができる新しい操作について説明しますまずはShared Events API 同じコマンドキューでAppを実行することでワークロード間の同期を確保します例では計算ワークロードは後処理や表示などの他ワークロードがディスパッチされる前に常に終了することが保証されていますこの場合各シングルディスパッチ内で GPU並列性を活用することになりますしかしAppによってGPUの第１部分を演算に使い第２部分を後処理や表示に使うなどより並列性を高めることが有効な場合があります複数コマンドキューでGPUに作業投入して実現できます残念ながらこの場合計算が結果を出す前に後処理パイプラインがディスパッチされデータレースが発生する可能性があります Shared Events APIはこの問題を解決しコマンドキュー間の同期を導入することでワークフローの依存関係を確実に満たす事ができますこれをコード内で使用するのは簡単です２つのグラフを扱うとします１つ目はコンピュートワークロードを担当し２つ目は後処理の作業量を担当しますまた計算グラフの結果を後処理グラフ入力として利用両者が異なるコマンドキューで実行されることを想定しましょう Metal System Traceの新しいMPS Graphトラックはコマンドキューが互いに重複している事を示しますこれはデータ競合を発生させますこの問題はシェアイベントで解決できます Metalデバイスを使用してイベントを作成します次にイベントアクション値を指定して実行記述子のシグナルメソッドを呼びますあとは２番目の記述子に対してイベント変数と値を指定して wait メソッドを呼び出すだけです
現Metalシステムトレースは２つのコマンドキューが順次実行され computeとpost processingのグラフの依存関係の解消が示されていますこの様にAppの同期問題を解決するためにシェアイベントを利用することができます次にMPS Graphがサポートする新操作についてですフレームワークで様々な事ができるようになります RNN から順に新しいOps の詳細を教えます
MPS Graphは RNN Appで一般的に使用される３つの操作を公開しました RNN　LSTM　GRUのレイヤーですどれも似ているので今回は LSTMsにだけ焦点を当てます LSTMs の演算は自然言語処理などによく使われますこれは LSTM の動作の様子を示しています詳細は前回のWWDCのセッションをご覧下さい LSTMユニットを自分で実装できますがその場合複雑なカスタムサブグラフを構築する必要がありますその代わり回帰型ユニットが必要とする全てのGPU作業を効率的にエンコードする新LSTMを使用できますよってLSTMベースのCoreML 推論モデルが高速化されます
新LSTM演算を使用するには MPS GraphLSTMDescriptorを作成します必要に応じて活性化関数を選択するなど記述子のプロパティを変更することができます次に LSTM ユニットをグラフに追加し入力テンソルを提供しますまたバイアスベクトルや演算の初期状態やセルを指定することも可能です最後にディスクリプタを提供します以上でLSTMの設定は完了です他のRNNの動作も同様です是非これらの操作を試してあなたのAppでどの程度高速化されるか試してみてください次にMaxPoolingのサポートが強化されたことを紹介します TMaxPooling 演算は入力テンソルとウィンドウサイズを受け取りウィンドウを適用するごとにウィンドウ内の入力の最大値を計算するものです画像次元を減らすためによく使われます Pooling演算子で抽出された最大値位置の指標を求めるAPIが拡張されました最大値が抽出された場所を介して勾配を伝達する必要がある場合勾配パスでインデックスを使用することができます新しい API はトレーニングにも有効です学習時にインデックスを再利用することで PyTorchとTensorFlowでは最大６倍高速化できます
まずGraphPoolingディスクリプターを作成します returnIndicesModeを指定します例えばglobalFlatten4Dです Return Indices API を使いプーリング操作を呼び出す操作の結果は２つありますまず poolingTensorそして indicesTensor indicesTensorをキャッシュしておくと後で学習パイプラインなどで利用できます
MPS Graphは新たに並列乱数発生器を公開し学習用グラフの重みの初期化などに使用できるようになりました今回のランダム演算は Philoxアルゴリズムを使用し与えられたシードに対し TensorFlowと同じ結果を返す newは入力として状態テンソルを受け取り出力としてランダムテンソルと例えば2番目のランダム操作の入力として使用できる新しい状態テンソルを返します新しいランダム演算を使用するには randomPhiloxStateTensorメソッドを呼びますこれで指定されたシードで入力状態テンソルを初期化します次に RandomOp の記述子を定義し分布とデータ型を入力として受け取りますこの例では記述子は 32bit 浮動小数点数の truncatedNormal 分布を指定しますまた正規分布や一様分布も使用できます
さらに平均値や標準偏差最小値や最大値を指定することで分布の特性を定義できます最後に形状テンソルと記述子そして先ほど作成した stateTensorを指定してランダム操作を作成します
MPS Graph はRandom に加え２つのビットベクトル間のハミング距離を計算する GPU加速演算を新たにサポートしましたハミング距離は同じ長さの２つの入力間で異なるビット数として定義され２つの配列間の編集距離の指標となりバイオ情報学から暗号学までいくつかで使用されています HammingDistanceを使うにはグラフ上でAPIを呼び出し primaryTensorとsecondaryTensor resualtDataTypeを指定します新カーネルはGPU上のバッチ次元でのブロードキャストをサポートしますそれでは新しいテンソルの簡単な操作を紹介しますこれで例えばテンソルの次元を２次元から３次元に拡張できますそして次元を削減して戻すことができます
またテンソルを軸に沿って分割したり重ねたりする事もできます
また与えられた入力形状に対してテンソル次元に沿った座標値を生成できます例えば２×４の形状のテンソルに０軸に沿った座標を入力できますこれは range1D 操作の実装にも利用できます例えば３から27までの数字の範囲を４刻みで生成したいとするその場合まず形状６のテンソルの０次元に沿った座標を作成すればいいのですあとは増分値を掛けて補正値を足すだけです以上が今年新たに加わった操作ですこれらの新しい操作によりMPS Graphを使用して Appleエコシステム全体で更に高い成果を上げれますではMPS Graphのうち Appleシリコンで得られる高性能化の方法を紹介します BlackmagicはMPS Graphを使用して機械学習のワークロードを加速させる DaVinci Resolve18リリースしました Magic Maskは機械学習により画面上の動くものを識別しその上に選択的フィルターを適用する Resolveの機能ですまず旧バージョンのResolveでこの機能を実演し次に現バージョンと比較しますマスクを作成するには対象となるオブジェクトを選択してオーバーレイの切替でマスクを表示できますマスクは赤い範囲で識別され被写体の形状をマークします動画再生時マスクは画面上で動くオブジェクトを追跡します見た目は素晴らしいのですが機械学習のパイプラインがフード下で動いている為低フレームレートの動作です今度はMPS Graphを使って Magic Maskネットワークを高速化した Resolveの最新版に切替えてみます再び同じ時間軸を実行するとフレームレートは速くなりますその結果 Appleシリコン上でより良い編集体験ができます
これらはMPS Graphを採用するだけで得られる高速化ですどんな動作をもたらすのか探ってみてくださいまとめですこれからあなたができることは PyTorch の GPUアクセラレーションの活用そしてプロジェクトはオープンソースとなりました TensorFlow-Metalプラグインを使用した学習ワークロードの高速化についてカスタム操作分散学習など新しい方法を見つけることができます最後にAppleシリコンを最大限に活用するために MPS Graphフレームワークを用いて共有イベントや新しい操作で最も要求の厳しい機械学習タスクを最適化できるようになります新機能を皆さんがAppでどう使うか楽しみです

3:44 - Install PyTorch using pip
```
python -m pip install torch
```

import torch

mpsDevice = torch.device("mps" if torch.backends.mps.is_available() else “cpu”)

4:15 - Convert the model to use the MPS device

import torchvision

model = torchvision.models.resnet50()

model_mps = model.to(device=mpsDevice)

4:46 - Run the model

sample_input = torch.randn((32, 3, 254, 254), device=mpsDevice)

prediction = model_mps(sample_input)

9:27 - TensorFlow MetalStream protocol

@protocol TF_MetalStream

- (id <MTLCommandBuffer>)currentCommandBuffer;
- (dispatch_queue_t)queue;
- (void)commit;
- (void)commitAndWait;

@end

10:25 - Register a custom operation

// Register the operation
REGISTER_OP("ZeroOut")
    .Input("to_zero: int32")
    .Output("zeroed: int32")
    .SetShapeFn([](::tensorflow::shape_inference::InferenceContext* c) {
      c —> set_output(0, c —> input(0));
      return Status::OK();
    });

10:41 - Implement a custom operation

// Define Compute function
void MetalZeroOut::Compute(TF_OpKernelContext *ctx) {
     // Get input and allocate outputs
     TF_Tensor* input = nullptr;
     TF_GetInput(ctx, 0, &input, status);
     TF_Tensor* output;
     OP_REQUIRES_OK(ctx, ctx->allocate_output(0, input.shape(), &output));

    // Use TF_MetalStream to encode the custom op
    id<TF_MetalStream> metalStream = (id<TF_MetalStream>)(TF_GetStream(ctx, status));
    dispatch_sync(metalStream.queue, ^() {
              id<MTLCommandBuffer> commandBuffer = metalStream.currentCommandBuffer;
              // Create encoder and encode GPU kernel
             [metalStream commit];
    }

    // Delete the TF_Tensors
    TF_DeleteTensor(input);
    TF_DeleteTensor(output);
}

11:30 - Import a custom operation

# Import operation in python script for training
import tensorflow as tf
zero_out_module = tf.load_op_library('./zero_out.so')
print(zero_out_module.zero_out([[1, 2], [3, 4]]).numpy())

19:29 - Using shared events

// Using shared events
let executionDescriptor = MPSGraphExecutionDescriptor()
let event = MTLCreateSystemDefaultDevice()!.makeSharedEvent()!
executionDescriptor.signal(event, atExecutionEvent: .completed, value: 1)

let fetch = computeGraph.runAsync(with: commandQueue1,
                                  feeds: [input0Tensor: input0),
                                          input1Tensor: input1],
                                  targetTensors: [finalTensor],
                                  targetOperations: nil,
                                  executionDescriptor: executionDescriptor)

let executionDescriptor2 = MPSGraphExecutionDescriptor()
executionDescriptor2.wait(for: event, value: 1)

let fetch2 = postProcessGraph.runAsync(with: commandQueue2,
                                       feeds: [input0Tensor: fetch[finalTensor]!,
                                               input1Tensor: input1],
                                       targetTensors: [finalTensor],
                                       targetOperations: nil,
                                       executionDescriptor: executionDescriptor2)

22:03 - Adding an LSTM unit to the graph

let descriptor = MPSGraphLSTMDescriptor()

descriptor.inputGateActivation = .sigmoid
descriptor.forgetGateActivation = .sigmoid
descriptor.cellGateActivation = .tanh
descriptor.outputGateActivation = .sigmoid
descriptor.activation = .tanh
descriptor.bidirectional = false
descriptor.training = true

let lstm = graph.LSTM(inputTensor,
                      recurrentWeight: recurrentWeightsTensor,
                      inputWeight: weightsTensor,
                      bias: nil,
                      initState: nil,
                      initCell: nil,
                      descriptor: descriptor,
                      name: nil)

23:35 - Using MaxPooling with return indices API

// Forward pass
let descriptor = MPSGraphPooling4DOpDescriptor(kernelSizes: @[1,1,3,3], 
                                               paddingStyle: .TF_SAME)
descriptor.returnIndicesMode = .globalFlatten4D

let [poolingTensor, indicesTensor] = graph.maxPooling4DReturnIndices(sourceTensor,
                                                                     descriptor: descriptor, 
                                                                     name: nil)

// Backward pass
let outputShape = graph.shapeOf(destination, name: nil)
let gradientTensor = graph.maxPooling4DGradient(gradient: gradientTensor,
                                                indices: indicesTensor, 
                                        outputShape: outputShape, 
                                        descriptor: descriptor, 
                                        name: nil)

24:42 - Use Random Operation

// Declare Philox state tensor
let stateTensor = graph.randomPhiloxStateTensor(seed: 2022, name: nil)

// Declare RandomOp descriptor
let descriptor = MPSGraphRandomOpDescriptor(distribution: .truncatedNormal,
                                            dataType: .float32)
descriptor.mean = -1.0f
descriptor.standardDeviation = 2.5f
descriptor.min = descriptor.mean - 2 * descriptor.standardDeviation
descriptor.max = descriptor.mean + 2 * descriptor.standardDeviation

let [randomTensor, stateTensor] = graph.randomTensor(shapeTensor: shapeTensor
                                             descriptor: descriptor, 
                                             stateTensor: stateTensor, 
                                             name: nil)

25:59 - Use the Hamming Distance API

// Code example remember 2D input tensor
let primaryTensor = graph.placeholder(shape: @[3,4], 
                                      dataType: .uint32, 
                                      name: nil)
let secondaryTensor = graph.placeholder(shape: @[1,4], 
                                        dataType: .uint32, 
                                        name: nil)

// The hamming distance shape will be 3x1
let distance = graph.HammingDistance(primary: primaryTensor,
                                     secondary: secondaryTensor,
                                     resultDataType: .uint16
                                     name: nil)

26:21 - Use the expandDims API

// Expand the input tensor dimensions, 4x2 -> 4x1x2
let expandedTensor = graph.expandDims(inputTensor, 
                                      axis: 1, 
                                      name: nil)

26:30 - Use the squeeze API

// Squeeze the input tensor dimensions, 4x1x2 -> 4x2
let squeezedTensor = graph.squeeze(expandedTensor, 
                                   axis: 1, 
                                   name: nil)

26:35 - Use the Split API

// Split the tensor in two, 4x2 -> (4x1, 4x1)
let [split1, split2] = graph.split(squeezedTensor, 
                                   numSplits: 2, 
                                   axis: 0, 
                                   name: nil)

26:39 - Use the Stack API

// Stack the tensor back together, (4x1, 4x1) -> 2x4x1
let stackedTensor = graph.stack([split1, split2], 
                                axis: 0,
                                name: nil)

26:46 - Use the CoordinateAlongAxis API

// Get coordinates along 0-axis, 2x4
let coord = graph.coordinateAlongAxis(axis: 0, 
                                      shape: @[2, 4], 
                                      name: nil)

27:04 - Create a Range1D operation

// 1. Set coordTensor = [0,1,2,3,4,5] along 0 axis
let coordTensor   = graph.coordinate(alongAxis: 0, withShape: @[6], name: nil)

// 2. Multiply by a stride 4 and add an offset 3
let strideTensor  = graph.constant(4.0, dataType: .int32)
let offsetTensor  = graph.constant(3.0, dataType: .int32)
let stridedTensor = graph.multiplication(strideTensor, coordTensor, name: nil)
let rangeTensor   = graph.addition(offsetTensor, stridedTensor, name: nil)

// 3. Compute the result = [3, 7, 11, 15, 19, 23]
let fetch = graph.runAsync(feeds: [:],
                           targetTensors: [rangeTensor],
                           targetOperations: nil)

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC23

WWDC22

WWDC21