CPUでリアルタイムのML推論をサポート

CPUでリアルタイムのML推論をサポート

BNNSGraphを使用して、CPUでの機械学習モデルの実行を高速化する方法を解説します。BNNSGraphを使用してCPUで機械学習モデルをコンパイルし、実行する方法を示すとともに、実行時のメモリ割り当てが不要であることや、音声または信号の処理モデルをシングルスレッドで実行できることなど、BNNSGraphが提供するリアルタイムの保証についてもご紹介します。

関連する章
- 0:00 - Introduction
- 1:18 - Introducing BNNS Graph
- 6:47 - Real-time processing
- 8:00 - Adopting BNNS Graph
- 14:52 - BNNS Graph in Swift
リソース
- Forum: Machine Learning and AI
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC24
- Appleプラットフォームでの機械学習の詳細
ダウンロード

こんにちは AppleのVector & Numerics Groupの Simon Gladmanです今日は機械学習ライブラリである Basic Neural Network Subroutines（BNNS）の素晴らしい新機能について説明します
ここ数年 BNNSはCPUにおける機械学習の推論とトレーニングのための包括的なAPIを提供してきました
現在Appleでは BNNSをより高速化しエネルギー効率を高め操作しやすさを格段に向上させていますこのセッションでは CPUベースの機械学習用の新たな優れたAPIである BNNS Graphをご紹介します
まず新しいAPIを紹介し機械学習とAIモデルを最適化する方法をいくつか説明します次に BNNS Graphがリアルタイムのユースケースの要求に応えるための重要な機能を見ていきますそして後ほどアプリでBNNS Graphを採用するために必要な手順について説明します最後に BNNS Graphを Swiftで実装する方法に加え SwiftUI／Swift Chartsと連携させる方法もご紹介しますではぜひお気に入りの椅子に座ってお茶でも飲みながら BNNS Graphについて見ていきましょう
まず始める前に BNNSが Appleの機械学習フレームワークの全体的なスタックにどのように適合するかを説明します BNNSは Accelerateフレームワークのライブラリの1つでこれを使用することでモデルをアプリに統合できます
BNNSはCPUでの機械学習を加速させ Appleの機械学習フレームワークである Core MLで使用されています
CPUベースの機械学習のための新しいAPIであるBNNS Graphは BNNSライブラリが個々の機械学習プリミティブでなくグラフ全体を使用できるようにします
トレーニングはAppleプラットフォームにモデルを導入するための最初のステップですモデルのトレーニングが完了したらデバイスに導入するためのモデルの準備つまり最適化と変換を行う必要がありますモデルの準備ができたらアプリケーションに統合する準備が整いますこのセッションではワークフローの統合部分に焦点を当てます
BNNS Graphを理解するためにまず従来のBNNS APIを見てみましょう
これまで BNNSはレイヤーに重点を置いた一連のAPIを提示し個々のパフォーマンスプリミティブを提供してきましたこれは機械学習に使用される構成要素です畳み込みのようなそれぞれの演算では通常多くの詳細情報を構成する必要があります
n次元配列記述子を使ってレイヤーへの引数とそのプロパティを指定しますつまり入力の記述子出力の記述子そして畳み込みカーネルの記述子または重み行列を作成しますそしてお察しのとおり BNNSは畳み込みバイアスをもう1つの配列記述子として想定していました
次にこれらの配列記述子を使用してパラメータ構造を作成しそのパラメータ構造をレイヤー自体を作成する関数に渡します最後に推論の際にレイヤーを適用します
BNNSを使用して既存のモデルを実装する場合は各レイヤーを BNNSプリミティブとしてコーディングしすべての中間テンソルのコードを記述する必要があります
Appleではここ数年新しいAPIである BNNS Graphの開発に取り組んできました BNNS Graphは複数のレイヤーとそれらのレイヤー間のデータフローで構成されるグラフ全体を取得しそれを単一のオブジェクトとして使用しますそれがグラフオブジェクトですつまりレイヤーごとにコードを記述する必要はありませんさらに皆さんもユーザーもより高速なパフォーマンスと優れたエネルギー効率の恩恵を受けられますでは BNNS Graphをアプリに統合するためのワークフローの簡単な概要を見てみましょう
Core MLモデルパッケージつまりmlpackageファイルから始めます mlpackageの作成方法の詳細については「Deploy machine learning and AI models on-device withCoreML」セッションをご覧ください
Xcodeは自動的にパッケージを mlmodelcファイルにコンパイルしますそのあと mlmodelcファイルからグラフを構築するコードを記述します最後にグラフをラップするコンテキストを作成します推論を実行するのはそのコンテキストです BNNS Graphはモデル全体を認識しているため以前は不可能だった多くの最適化を実行することができますしかもこれらの最適化は無料で利用できます
これはモデルの小さなセクションの例ですこのセクションの最初のレイヤーはテンソルAとBの要素ごとの加算を実行し結果をCに書き込みます次のレイヤーは畳み込みを実行しますそのあとモデルは畳み込み結果に活性化関数を適用します最後にスライスレイヤーは要素のサブセットをテンソルDに書き込みます
BNNS Graphの最適化には数学的変換が含まれますこの例ではスライス操作が最後のレイヤーですつまり前述のすべての操作はスライスだけでなくテンソル全体に作用します
数学的変換の最適化によりスライスがモデルの先頭に移動されるため BNNSで計算する必要があるのはそのスライス内の要素のサブセットのみです
レイヤー融合による最適化ではいくつかのレイヤーを 1つの操作に結合しますこの例では BNNSが畳み込みレイヤーと活性化レイヤーを融合させていますもう1つの最適化はコピー省略ですスライス操作によりスライス内のデータを新しいテンソルにコピーできます
BNNS Graphはスライスを最適化し元のデータにウインドウを渡します
可能な場合はテンソルがメモリを共有するようにすることで BNNS Graphはメモリ使用量を最適化し不要な割り当てを排除することもできますこの例ではテンソルAとCは同じメモリを共有することができテンソルBとDも同じメモリを共有できます
BNNS Graphの重み再パッキング最適化では例えば行優先レイアウトからの重みをブロックされた反復順序に再パッキングしてキャッシュの局所性を向上させることができます
こうした最適化のメリットを得るためにコードを記述する必要はありませんただ「それだけ」で実行されますまたパフォーマンスは以前のBNNSプリミティブよりも平均して2倍以上高速になります
そのため新しいAPIはリアルタイムのユースケースに最適ですここではそのようなユースケースを見ていきます BNNS GraphをAudio Unitに追加してオーディオを操作するというものです
Audio Unitを使用すると iOSやmacOSアプリでオーディオやMIDIデータを作成・変更できますこれにはLogic ProやGarageBandなどの音楽制作アプリが含まれます機械学習を使用したAudio Unitはさまざまな機能を提供できますたとえば音声を分離してボーカルを分離または削除したりコンテンツに基づいて音声をさまざまな領域に分割したり音色変換を適用して楽器を別の楽器のように聞こえるようにしたりなどです
このデモでは内容をシンプルにしオーディオを「ビットクラッシュ」すなわち量子化して歪んだ効果を与える Audio Unitを作成します
リアルタイム処理の主な要件は実行フェーズ中のメモリ割り当てやマルチスレッドを回避することですそれが起こるとカーネルコードへのコンテキストスイッチが発生しリアルタイムの期限に間に合わなくなる可能性があります BNNS Graphを使用するとモデルのコンパイルと実行を細かく制御することができメモリ割り当てなどのタスクのほか実行をシングルスレッドとマルチスレッドのどちらで行うかも管理できます
では次に BNNS Graphを採用した Audio Unitプロジェクトの作成方法を説明します
Xcodeでは Audio Unitの作成が非常に簡単です Audio Unit Extension Appを作成するテンプレートが用意されているからです
まずbitcrusher mlpackageファイルをプロジェクトナビゲータにドラッグアンドドロップします
Xcodeはmlpackageを mlmodelcファイルにコンパイルしますこのファイルを使用して BNNS Graphをインスタンス化しますこれで最初の2つのステップが完了しました
これで Xcode内でmlmodelcファイルを使用できるようになったので BNNS Graphオブジェクトを作成し変更可能なコンテキストにラップする準備ができましたグラフを作成するのは1回のみなので通常これをバックグラウンドスレッドで実行するのはアプリの起動後かユーザーが機械学習に依存する機能を初めて使用したときです
グラフのコンパイルではコンパイルされたCore MLモデルを処理して最適化された BNNS Graphオブジェクトにしますこのオブジェクトには推論で呼び出されるカーネルのリストと中間テンソルのメモリレイアウトマップが含まれています
Xcodeテンプレートはビジネスロジックとユーザーインターフェイスに SwiftとSwiftUIをリアルタイム処理にC++を使用します
C++ DSPカーネルヘッダファイルではこのプロジェクトのすべての信号処理が行われますこのファイルに BNNS Graphコードを追加します
そのためにまずmlmodelcのパスを取得し BNNS Graphをビルドしてコンテキストを作成し引数の型を設定してワークスペースを作成しますではコードの記述方法を見てみましょう
これはmlmodelcファイルへのパスを取得するコードです先に説明したように mlpackageファイルだけをプロジェクトにコピーした結果 Xcodeによってパッケージから mlmodelcファイルが生成されています
実行中にグラフが1つのスレッドだけを使用するように指定するにはデフォルト設定でコンパイルオプション構造を作成しますデフォルトの動作では BNNS Graphがマルチスレッドで実行されますそこで SetTargetSingleThread関数を呼び出してそれを変更します
次にコンパイルオプションと mlmodelcファイルへのパスを使用してグラフをコンパイルします GraphCompileFromFile関数でグラフが作成されますここでは2番目の引数としてNULLを渡しソースモデル内のすべての関数がコンパイルされるように指定しています
コンパイルが完了したらコンパイルオプションの割り当てを安全に解除できます
これでステップ3が完了しグラフが作成されましたこれで不変のグラフができたので ContextMake関数によってグラフが可変のコンテキストでラップされます BNNS Graphでは動的な形状やその他の特定の実行オプションをサポートするために可変のコンテキストが必要ですコンテキストではコールバック関数を設定して出力とワークスペースメモリを自分で管理することもできます
BNNS Graphはテンソル構造を処理して形状ストライドそしてランクを指定し基になるデータをポイントすることもできれば基になるデータへのポインタを直接処理することもできます
このデモではオーディオバッファを直接処理するのでコンテキストの引数はポインタになるように指定します
BNNSがオーディオデータを処理している間はメモリを割り当てないようにする必要がありますそのためこの初期化中にページ境界に揃えたワークスペースを作成します
コンテキストを更新して処理するデータの最大サイズが認識されるようにする必要がありますそのためには Audio Unitがレンダリングできる最大フレームに基づく形状を SetDynamicShapes関数に渡します
次に GetWorkspaceSize関数がワークスペースに割り当てる必要のあるメモリの量を返します
ワークスペースメモリはページ境界に揃っている必要があるので aligned_allocを呼び出してワークスペースを作成します
ここで注意すべきなのは元のPythonコードの引数の順序が mlmodelcファイルの引数の順序と同じではない可能性があることです GraphGetArgumentPosition関数はそれぞれの引数の正しい位置を返しますこの位置は後で実行関数に渡されます
これでコンテキストが適切に構成されました
次に進む前に他のオプションについても簡単に触れておきますコンパイルオプションを処理しているときに最適化の環境設定を行う機会がありました BNNSはデフォルトでグラフのパフォーマンスを最適化しますこれはAudio Unitに最適です
パフォーマンスが最適化されるということは BNNS Graphオブジェクトのフットプリントが増加する場合でも追加作業はコンパイルフェーズに移動される可能性があります
ただしアプリのフットプリントが重要な場合はサイズを最適化することができますサイズを最適化するとデータは可能な限り小さい形式で残されますが変換を実行するためのコストが原因で実行パフォーマンスが低下する可能性があります
もう1つ便利なのは BNNS Graphには NaNAndInfinityChecksを有効にする関数が含まれていることですこのデバッグ設定は 16ビットのアキュムレータがオーバーフローしたときにテンソル内の無限大などの問題を検出するのに役立ちますただしこのチェックを製品コードで有効にすることは望ましくありません
これでグラフとコンテキストを初期化しシングルスレッド実行を指定してワークスペースを作成しましたので BNNSで割り当ては実行されませんこれでグラフを実行する準備ができましたではその実行に必要なコードを見てみましょう
SetBatchSize関数は入力信号形状と出力信号形状の最初の次元のサイズをフレーム内のオーディオサンプルの数に設定しますこの場合 2番目の引数はソースファイル内の関数名を参照しますただしソースファイルには関数が1つしか含まれていないため NULLを渡すことができます
そして5つの引数出力信号と入力信号そして量子化の量を定義するスカラ値を配列として実行関数に渡します追加する最初の引数は出力信号です data_ptrフィールドと data_ptr_sizeフィールドを現在のオーディオチャネルの outputBufferに基づいて指定します
次の引数は入力信号ですここではdata_ptrフィールドと data_ptr_sizeフィールドを指定しますがこれは現在のオーディオチャネルの inputBufferに基づきます
次の引数は3つのスカラ値でユーザーインターフェイスのスライダから取得されるものです
これで関数を実行できます GraphContextExecute関数はコンテキスト引数そしてもちろん重要なワークスペースを受け付けます戻り値として出力ポインタには推論の結果が含まれます SetBatchSize関数と同様に 2番目の引数はソースファイル内の関数名を参照しますソースファイルには関数が1つしか含まれていないため NULLを渡します
最後に BNNS GraphをSwiftプロジェクトに統合する方法を見てみましょう
Swiftの使用に最適なユースケースの1つは BNNS GraphをAudio Unitの SwiftUIコンポーネントに実装することですそれにより Audio Unitのユーザーインターフェイスにオーディオ信号自体と同じパラメータを使用して同じモデルで処理された正弦波を表示することができます Audio Unitのユーザーインターフェイスコンポーネントは Swift UIを使用して sampleCount要素を含むデータにビットクラッシャーモデルを適用し滑らかな正弦波を表示します
srcChartDataバッファには正弦波表現が格納され dstChartDataバッファには BNNS Graphが効果を適用した後の正弦波データが格納されます
これら3つのバッファにはユーザーがユーザーインターフェイスのスライダで制御するスカラ値が格納されます
APIは CとSwiftで一貫しているので先ほど説明したオーディオ処理コードと同様にグラフとコンテキストを定義しましょう
Swiftではリアルタイムの安全性は保証されませんが C++のようにワークスペースを提供することで BNNS Graphが実行中にメモリ割り当てを行う必要がなくなります
そのためこれはAudio Unitのパフォーマンスとエネルギー効率の向上に役立ちます
次に引数インデックス変数を宣言し引数配列内で引数がどこにあるかを定義します
ここに表示されているのは波形表示コンポーネントの初期化メソッドに含まれるコードですここでグラフコンテキストワークスペースを作成します
最初のステップは Xcodeがmlpackageからコンパイルした mlmodelcファイルへのパスを取得することです
次に mlmodelcを BNNS Graphオブジェクトにコンパイルします
そのあと C++コードで行ったのと同じようにグラフコンテキストを作成します
ユーザーインターフェイスとオーディオ処理の両方に同じコンテキストを使用しないのはなぜかと疑問に思うかもしれませんそれはコンテキストが一度に1つのスレッドしか実行できないからです Audio Unitがデータを処理している間にユーザーがスライダの1つを調整する可能性もあるためプロジェクトの各部分に別々のコンテキストが必要です
ここで簡単なチェックを行い BNNSがグラフとコンテキストを正常に作成したことを確認します
オーディオ処理のコードで行ったようにソースと宛先のチャートデータへのポインタを直接処理することにしますそのためコンテキストに引数がテンソルではなくポインタであることを伝えます
この場合バッチサイズつまりソースと宛先の信号データバッファの最初の次元のサイズは例に挙げた正弦波のサンプル数です
SetBatchSize関数が返されたあと GetWorkspaceSize関数はサンプル数の正しいサイズを返します
次に引数配列のインデックスを計算しますユーザーがスライダの値を変更するたびに SwiftはupdateChartData() 関数を呼び出し正弦波にビットクラッシャー効果を適用します
updateChartData()関数の最初のステップはスカラ値を対応するストレージにコピーすることです
次にインデックスを使用して引数配列を正しい順序で作成します
これでサンプルの正弦波に対してビットクラッシャーを実行できます実行関数が返されると SwiftUIはユーザーインターフェイスのチャートを更新しビットクラッシャーされた正弦波を表示します
ここでXcodeに戻ります波形を表示するSwiftチャートはすでに追加してあるので引数を格納するバッファを宣言します
グラフコンテキストそして引数のインデックスも宣言します
イニシャライザ内でグラフとコンテキストを初期化し
ワークスペースを作成して引数のインデックスを計算します次にupdateChartData()関数でインデックスを使用して引数関数を作成し正しい順序を確認してから
グラフを実行します
Xcodeの実行ボタンを押してアプリを起動し動作しているビットクラッシャーを聞いてみましょう
ありがとうございましたでは今日の内容をまとめたいと思います BNNS Graphが提供する APIを使用すると高パフォーマンスでエネルギー効率が高くリアルタイムでレイテンシの影響を受けやすい機械学習をCPUで実現できますこれはオーディオアプリに最適です改めてご視聴ありがとうございました

// Get the path to the mlmodelc.
        NSBundle *main = [NSBundle mainBundle];
        NSString *mlmodelc_path = [main pathForResource:@"bitcrusher"
                                                 ofType:@"mlmodelc"];
        
        // Specify single-threaded execution.
        bnns_graph_compile_options_t options = BNNSGraphCompileOptionsMakeDefault();
        BNNSGraphCompileOptionsSetTargetSingleThread(options, true);
        
        // Compile the BNNSGraph.
        bnns_graph_t graph = BNNSGraphCompileFromFile(mlmodelc_path.UTF8String,
                                                      NULL, options);
        assert(graph.data);
        BNNSGraphCompileOptionsDestroy(options);

0:02 - Create context and workspace

// Create the context.
        context = BNNSGraphContextMake(graph);
        assert(context.data);
        
        // Set the argument type.
        BNNSGraphContextSetArgumentType(context, BNNSGraphArgumentTypePointer);
        
        // Specify the dynamic shape.
        uint64_t shape[] = {mMaxFramesToRender, 1, 1};
        bnns_graph_shape_t shapes[] = {
            (bnns_graph_shape_t) {.rank = 3, .shape = shape},
            (bnns_graph_shape_t) {.rank = 3, .shape = shape}
        };
        BNNSGraphContextSetDynamicShapes(context, NULL, 2, shapes);
        
        // Create the workspace.
        workspace_size = BNNSGraphContextGetWorkspaceSize(context, NULL) + NSPageSize();
        workspace = (char *)aligned_alloc(NSPageSize(), workspace_size);

0:03 - Calculate indices

// Calculate indices into the arguments array.
        dst_index = BNNSGraphGetArgumentPosition(graph, NULL, "dst");
        src_index = BNNSGraphGetArgumentPosition(graph, NULL, "src");
        resolution_index = BNNSGraphGetArgumentPosition(graph, NULL, "resolution");
        saturationGain_index = BNNSGraphGetArgumentPosition(graph, NULL, "saturationGain");
        dryWet_index = BNNSGraphGetArgumentPosition(graph, NULL, "dryWet");

0:04 - Execute graph

// Set the size of the first dimension.
            BNNSGraphContextSetBatchSize(context, NULL, frameCount);
            
            // Specify the direct pointer to the output buffer.
            arguments[dst_index] = {
                .data_ptr = outputBuffers[channel],
                .data_ptr_size = frameCount * sizeof(outputBuffers[channel][0])
            };
            
            // Specify the direct pointer to the input buffer.
            arguments[src_index] = {
                .data_ptr = (float *)inputBuffers[channel],
                .data_ptr_size = frameCount * sizeof(inputBuffers[channel][0])
            };
            
            // Specify the direct pointer to the resolution scalar parameter.
            arguments[resolution_index] = {
                .data_ptr = &mResolution,
                .data_ptr_size = sizeof(float)
            };
            
            // Specify the direct pointer to the saturation gain scalar parameter.
            arguments[saturationGain_index] = {
                .data_ptr = &mSaturationGain,
                .data_ptr_size = sizeof(float)
            };
            
            // Specify the direct pointer to the mix scalar parameter.
            arguments[dryWet_index] = {
                .data_ptr = &mMix,
                .data_ptr_size = sizeof(float)
            };
            
            // Execute the function.
            BNNSGraphContextExecute(context, NULL,
                                    5, arguments,
                                    workspace_size, workspace);

0:05 - Declare buffers

// Create source buffer that represents a pure sine wave.
    let srcChartData: UnsafeMutableBufferPointer<Float> = {
        let buffer = UnsafeMutableBufferPointer<Float>.allocate(capacity: sampleCount)
        
        for i in 0 ..< sampleCount {
            buffer[i] = sin(Float(i) / ( Float(sampleCount) / .pi) * 4)
        }
        
        return buffer
    }()
    
    // Create destination buffer.
    let dstChartData = UnsafeMutableBufferPointer<Float>.allocate(capacity: sampleCount)
    
    // Create scalar parameter buffer for resolution.
    let resolutionValue = UnsafeMutableBufferPointer<Float>.allocate(capacity: 1)
    
    // Create scalar parameter buffer for resolution.
    let saturationGainValue = UnsafeMutableBufferPointer<Float>.allocate(capacity: 1)
    
    // Create scalar parameter buffer for resolution.
    let mixValue = UnsafeMutableBufferPointer<Float>.allocate(capacity: 1)

0:06 - Declare indices

// Declare BNNSGraph objects.
    let graph: bnns_graph_t
    let context: bnns_graph_context_t
    
    // Declare workspace.
    let workspace: UnsafeMutableRawBufferPointer
    
    // Create the indices into the arguments array.
    let dstIndex: Int
    let srcIndex: Int
    let resolutionIndex: Int
    let saturationGainIndex: Int
    let dryWetIndex: Int

0:07 - Create graph and context

// Get the path to the mlmodelc.
        guard let fileName = Bundle.main.url(
            forResource: "bitcrusher",
            withExtension: "mlmodelc")?.path() else {
            fatalError("Unable to load model.")
        }
        
        // Compile the BNNSGraph.
        graph = BNNSGraphCompileFromFile(fileName, nil,
                                         BNNSGraphCompileOptionsMakeDefault())
        
        // Create the context.
        context = BNNSGraphContextMake(graph)
        
        // Verify graph and context.
        guard graph.data != nil && context.data != nil else { fatalError()}

0:08 - Finish initialization

// Set the argument type.
        BNNSGraphContextSetArgumentType(context, BNNSGraphArgumentTypePointer)
        
        // Set the size of the first dimension.
        BNNSGraphContextSetBatchSize(context, nil, UInt64(sampleCount))
        
        // Create the workspace.
        workspace = .allocate(byteCount: BNNSGraphContextGetWorkspaceSize(context, nil),
                              alignment: NSPageSize())
        
        // Calculate indices into the arguments array.
        dstIndex = BNNSGraphGetArgumentPosition(graph, nil, "dst")
        srcIndex = BNNSGraphGetArgumentPosition(graph, nil, "src")
        resolutionIndex = BNNSGraphGetArgumentPosition(graph, nil, "resolution")
        saturationGainIndex = BNNSGraphGetArgumentPosition(graph, nil, "saturationGain")
        dryWetIndex = BNNSGraphGetArgumentPosition(graph, nil, "dryWet")

0:09 - Create arguments array

// Copy slider values to scalar parameter buffers.
        resolutionValue.initialize(repeating: resolution.value)
        saturationGainValue.initialize(repeating: saturationGain.value)
        mixValue.initialize(repeating: mix.value)
        
        // Specify output and input arguments.
        var arguments = [(dstChartData, dstIndex),
                         (srcChartData, srcIndex),
                         (resolutionValue, resolutionIndex),
                         (saturationGainValue, saturationGainIndex),
                         (mixValue, dryWetIndex)]
            .sorted { a, b in
                a.1 < b.1
            }
            .map {
                var argument = bnns_graph_argument_t()
                
                argument.data_ptr = UnsafeMutableRawPointer(mutating: $0.0.baseAddress!)
                argument.data_ptr_size = $0.0.count * MemoryLayout<Float>.stride
                
                return argument
            }

0:10 - Execute graph

// Execute the function.
        BNNSGraphContextExecute(context,
                                nil,
                                arguments.count, &arguments,

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

関連する章

リソース

関連ビデオ

WWDC24