Core MLでのモデルの配布とセキュリティ

Core MLでのモデルの配布とセキュリティ

Appのバイナリ外でCore MLモデルをデプロイし、機械学習機能をAppに導入する際により柔軟で制御しやすくする方法について説明します。また、Core MLモデルデプロイメントによりAppのアップデートを行うことなく更新されたモデルを導入する方法についても学習します。さらに、暗号化を使用してカスタムの機械学習モデルを保護する方法や、Xcodeでモデルのパフォーマンスをプレビューする方法も一通り説明します。 TensorFlowやPyTorchなどの環境で学習済みのモデルを取り込む場合など、Core MLの使い方の詳細については、"Get your models on device using Core ML Converters”をご覧いただくことを推奨します。

リソース
- Core ML
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC20
- プライバシーの強化で信頼を築く
- Core ML Convertersを使用したデバイス上のモデルの取得
ダウンロード

こんにちは WWDCへようこそ “Core MLでのモデルの展開とセキュリティの使用” 私アニル･カティが Core MLの新しい機能をご紹介します Core MLはアプリケーションの機械学習でのシームレスの統合を容易にしユーザーへ素晴らしい体験をもたらします Core MLモデルはこのような体験をすべて可能とする中核です今日はこのモデルの新しい機能をご紹介しますこのセッションではモデルを展開する新たな方法や暗号化する方法そして Xcodeの機能拡張をご紹介しますでは始めましょうアプリケーションの開発ワークフローを念頭に置きCore MLは設計されました準備したモデルをXcodeプロジェクトにドラッグアンドドロップするとアプリケーションにモデルを統合することができます Xcodeはデバイスでの実行に最適なフォーマットへモデルをコンパイルしますアプリケーションをサブミットするとコンパイル済みモデルがバンドルされますそれがApp Storeへ行った後にユーザーのデバイスに行きますモデルとアプリケーションをバンドル化することをお勧めしますそれによりアプリケーションのインストール時にユーザーはすぐにモデルを利用できますモデルの配信プロセスにおいてより柔軟性やコントロールが必要になるシナリオがあります柔軟性を提供するための Core ML Model Deploymentを紹介します
Core ML Model Deploymentはアプリケーションにモデルを配信する新しい方法を提供します Model Deploymentダッシュボードを使い Appleクラウドでモデルを保存管理展開することが可能ですアップデートが入手可能になるとデバイスは定期的にアップデートを取得します Model Deploymentが提供する機能はアップデート周期とは独立してモデルを開発し展開する機能一緒に機能するモデルをグループ化機能そして特定のデバイス母集団にモデルのターゲットを絞るオプション機能ですそれぞれの機能を詳しく見ていきましょうまず独立した開発機能を説明します
モデルを再トレーニングする際モデルを次のアプリケーションのアップデートとバンドルするよう計画します
しかしモデルとアプリケーションでアップデートのペースが違っていたら？
従来はより新しいモデルをユーザーに届けるためだけにより多くのアプリケーションのアップデートをプッシュする必要がありました現在はModel Deploymentを使ってアプリケーションそのものを更新することなく簡単にモデルをアップデートすることができます次はモデルコレクションです
アプリケーション内の機能に関連する１つか複数のモデルのグループ化に適した方法です例えばゲームの作業をしていてそのレベルの内の１つがある機能をサポートするために一式のモデルを必要とした場合１つのモデルコレクションにグループ化しそれらのモデルを同期することが可能ですモデルコレクションを展開する際はすべてのモデルをコレクション内に保持しアトミックにアプリケーションへ配信しますデモに入る前に私たちであればこの機能をどのように導入するかを説明します Model Deploymentを導入するには３つの手順がありますまず新しいCore ML APIを使用し Model Deploymentをオプトインします次にモデルアーカイブを作成して展開のモデルを準備しますこれはXcodeで行うことが可能です
最後に準備したモデルをアップロードして Model Deploymentダッシュボードに展開しますモデルを更新する際にステップ２とステップ３を繰り返す必要がありますこれらの手順をデモで詳しく見ていきましょう花の画像をダブルタップすると美しい視覚効果を適用する簡易アプリケーションがありますこれは画像分類器とスタイル転送モデルの２つのCore MLモデルを使用しています
Model Deploymentの統合を選択したのでアプリケーションのアップデートプロセスから更新モデルを切り離しモデルをイテレーションできましたつまり最初のステップは新しいAPIを使用して Model Deploymentのオプトインをすることです Xcodeで行う方法を説明します Xcodeプロジェクトが開いていますこのデモの中では花の分類機能だけに焦点を当ててお話しします今日実装するキーメソッドはある特定の画像内の花を分類しクラスラベルでUIを更新しますこのメソッドを起動した時に最初に行うのは FlowerClassifierのインスタンスを作成し変数に保存することですこれにより後のコールで事前にロードされたモデルにアクセスすることができモデルを毎回ロードする必要がなくなります事前にロードされているケースのチェックから始めましょう
既に変数が設定されているかを確認し設定されていればそれを使って画像を分類しすぐに返します次にロジックを実装しモデルをロードします
モデルはコレクションにグループ化されています後ほど新しいダッシュボードでモデルコレクションを作成し展開する方法をお見せします既に展開されたコレクションにアクセスするには MLModelCollectionで beginAccessingメソッドを呼び出します
このメソッドが識別子の付いたモデルコレクションに初めて呼び出された時バックグラウンドキューでコレクション内の全モデルをシステムがダウンロードしますそしてモデルへの今後のアップデートのために登録します進捗オブジェクトを使いダウンロードを監視することも可能です
我々が使用するモデルコレクション識別子は “FlowerModels”ですモデルコレクションの作成時に必要となるのでメモしておきましょう
MLModelCollectionのインスタンスも結果タイプとして非同期に返しますこの結果からダウンロードされたモデルへのアクセス方法を見てみましょう
このオペレーションが正常に実行されるとモデルコレクションエントリーを含むモデルコレクションのインスタンスを取得しますモデルごとに１つのエントリーがありますモデル名をキーとして FlowerClassifierモデルのモデルコレクションエントリーへのアクセスが可能ですエントリーの中にはシステムによってダウンロードされアプリケーションのコンテナにコンパイル済みのモデルをポイントするモデルURLがありますモデルコレクションへのアクセスに失敗する場合もあります例えば最初に呼び出される時にネットワーク接続がなければモデルのダウンロードは失敗します失敗したケースの処理は重要ですこの例ではエラーをログしバンドルされたモデルの使用にフォールバックします次にロジックを実装しモデルをロードしましょう
モデルをロードするために簡易的なヘルパーメソッドを実装しましたオプションのmodelURLをインプットとして取得し FlowerClassifierモデルをロードします URLがニルの場合フォールバックしアプリケーションとバンドルされているモデルをロードします
最後のステップでは画像の分類に FlowerClassifierを使用します
これはそのコードですモデルのローディングが正常に実行されるとロードされたモデルを使って画像を分類し分類リクエストのためにそれを変数内に保存しますモデルのロードの失敗処理には別のメソッドがありますこのケースでは適切なエラーメッセージをユーザーに表示します
Model Deploymentのためのアプリケーションの準備に必要なコードはこれだけです展開のためのモデルをどのように準備するのでしょう？ Xcodeでモデルをクリックすると Model Deploymentのセクションを持つ新たなユーティリティタブが導入されたことが分かります
モデルアーカイブを作成することで展開のためのモデルが準備できます
XcodeがFlowerClassifier.mlarchiveを作成しディスク上に保存しましたここをクリックするとファイルがあります
オリジナルのモデルファイルのすぐ横に配置されています最後のステップは Model Deploymentダッシュボードでこのモデルを展開することです XcodeはSafariの Model Deploymentダッシュボードに導くボタンを提供しますダッシュボードで最初に気付くのはモデルコレクションの作成方法があることです花のモデルに対して新しいモデルコレクションを作成し “FlowerModels”と名付けますこれはアプリケーションで指定されたものと一致させる必要があります
次に適切な説明を加えます “花の画像用に作成されたモデルのコレクション”などと記載します
このコレクションの中で収集する予定の２つのモデルを指定します最初がFlowerClassfierで
もう１つがFlowerStylizerですそして作成ボタンをクリックします次に新たな展開を作成してモデルを展開することが可能ですこれらのモデルをすべてのデバイス上のアプリケーションに展開するのでグローバル展開と呼びます
各モデル名に対して作成したモデルアーカイブのアップロードが可能です FlowerClassfierとStylizerを選び右上の展開ボタンをクリックします
モデルコレクションページで今作成した展開がアクティブ状態だと確認できます
これらはモデルコレクションを使用するすべてのデバイスで利用可能ですアプリケーションを起動して花を分類してみましょう
ダリアを選ぶとダリアとして分類されていると分かります次はハイビスカスを選びますこちらも正しく理解しているようですモデルは３つのクラスでトレーニングされその中にバラは入っていませんバラの画像を選ぶとどうなるでしょう
予想通りアプリケーションはバラを認知しないようです
バラを分類できるようアプリケーションを拡張しますアプリケーション内に導入済みの Model Deploymentを使ってバラの画像で再トレーニングされたモデルを展開しますデモ用に更新されたモデルを準備しておきました
展開ダッシュボードで更新方法を見てみましょう新たな展開を作成し更新されたモデルを展開しますスタイライザーと改善された分類器を選び展開ボタンをクリックします
すべてのデバイス上のアプリケーションで更新モデルの利用が可能となりますが多少時間がかかります各デバイスがバックグラウンドでのダウンロード時間を計算しアプリケーションは次の起動時にモデルを入手します OSが更新モデルをデバイスに同期した後何が起きるか見てみましょう先程のバラの画像が今回はバラとして分類されていますコードを変更せずモデルを改善することでユーザー体験を拡張できました次はターゲットを絞った展開についてですアプリケーションが未熟な内は１つのモデルセットのみを使用する場合もありますしかし進化するにつれ異なる母集団に特化したモデルを使用するのが合理的でしょうすべてのモデルをバンドルしランタイム時に適切なものを使用することもできますが効率的ではありませんモデルが大きくアプリケーションのダウンロードサイズを抑えたい場合もありますターゲットを絞った展開であれば各デバイスが必要なモデルのみを取得するようルールを定義できます１つの設定例を見てみましょう最近 FlowerClassifierの iPad専用の改善を実施しました iPadで取得される画像のカメラ角度とライトの設定が iPhoneとは若干異なっていたのです iPad以外のすべてのデバイスでは既存のモデルはうまく動作しています特有のモデルを iPadのみの対象にする方法を見てみましょう
既存展開のクローン作成か新規作成かを選択できますここでは新しいものを作成し Targeting iPadsと呼びます
まず展開のデフォルトモデルを選択しますこれらはルールに一致しないすべてのデバイスで配信されます
次にターゲティングルールを追加します様々な基準があると分かるでしょうデバイスクラスでiPadを選択しますターゲティングルールには iPad特有のモデルを選びます
これで展開が可能ですデバイスが適切なモデルを引き当てるのでアプリケーションでの追加変更が必要ありません Core ML Model Deploymentの使用により簡単にユースケースを支援できます使用の際は次のことにご注意くださいまず各モデルをアップロードする前にローカルでテストすることを強くお勧めしますユーザーが動作しないモデルを受け取らないようにするためです
次に展開するモデルはデバイスですぐには利用できません各デバイスがいつモデルをダウンロードするかを決定しますそのためモデルが利用できない時に必ずフォールバックプランを持つべきです
最後にモデルコレクションではモデルを体系化することができますアプリケーションの各機能を中心にモデルコレクションをグループ化しましょうつまり Core ML Model Deploymentはアプリケーションのアップデートとは独立してユーザーにモデルを配信する新しい方法ですモデルコレクションはモデルをグループ化する優れた方法ですターゲットを絞った展開は異なる母集団に展開したい場合に有効ですこれらの機能によってユーザーへのより柔軟なモデル配信が可能となるでしょうここからはジョンがエキサイティングな別の機能を紹介します
ありがとうアニルご参加いただきありとうございます皆さんにこれらの機能を提供でき非常にうれしく思いますモデルをより早くユーザーに届ける方法を見てきました次にモデルの暗号化についてです暗号化することで停止時や送信中もモデルを配信することが可能となりますどのように機能するのか見てみましょうアプリケーションとバンドルされているかクラウドに展開されているかにかかわらず Xcodeが暗号化するのはコンパイルされたCore MLモデルですデバイスのアプリケーション内に存在するのはオリジナルの.mlmodelファイルではなくコンパイルされたモデルですコンパイルされたモデルを暗号化するには Xcodeを使います最初に必要となるのは暗号化キーです後ほど作り方をお見せしますモデルをビルド時に暗号化するよう Xcodeに伝えます生成時にモデルアーカイブを暗号化することも可能ですいずれにせよコンパイルされたモデルは送信中も停止時も暗号化されたままですではランタイムでどのように使用するのでしょうか使用方法は通常のモデルと同様です Core MLによって自動的に解読されたモデルはメモリ内にのみ存在しますコンパイルされたモデルは常時暗号化された状態です最初に暗号化されたモデルをロードする際 OSがアプリケーションに代わって解読キーをフェッチし確実に保存します再び同じモデルをロードするのにネットワーク接続は必要ありません暗号化の導入がいかに簡単であるかを見てみましょう先程アニルが使っていたアプリケーションで画像分類モデルを暗号化します最初に暗号化キーを作成しますモデルをXcodeで開いてユーティリティタブに行き―
“Create Encryption Key”をクリックします
暗号化キーはチームと関連づけられているのでアプリケーション作成に使用するチームアカウントを選びます Continueをクリックすると Appleクラウドにリクエストを送りますサーバーはキーを保存し Xcodeにコピーを送り返します
Xcodeが拡張子.mlmodelkeyの付いた新しいファイルを作成したと分かりますここに.mlmodelと.mlmodelkeyがあります
完成した暗号化キーはチームのセキュアキーレポジトリ上で他の開発者と共有できます
次はキーを使ってモデルを暗号化します Core ML Model Deploymentでモデルを展開したシナリオを見てみます今回はモデルアーカイブを作成する時に― Xcodeが.mlmodelkeyを事前に選択します Continueをクリックします
コンテンツを暗号化してモデルアーカイブを作成するのが分かります残りの手順は先程と同じです Core ML Model Deploymentダッシュボードに暗号化されたモデルアーカイブをアップロードして展開しますアプリケーションの中でモデルをバンドルする場合も暗号化は可能ですこのアプリケーションには FlowerStylizerと呼ばれる２つ目のモデルがあります再度アプリケーションを実行してみます画像をダブルタップするとスタイル転送効果が適用されるのが分かりますきれいですねこのようなモデルを作成したい方は “Build Image and Video Style Transfer Models in Create ML”をご覧くださいこのモデルはアプリケーションのバンドルでパッケージ化されていますビルド時にモデルを暗号化するよう Xcodeに伝える必要がありますまずモデルのキーを作成します
FlowerClassifier.mlmodelkeyがディスクに保存されました
ビルド時にこのキーを使用するよう Xcodeに伝えます
これらのコンパイラフラグをグラブしプロパティのBuild Phasesの中にある Compile Sourcesでモデルを探します FlowerStylizer.mlmodelがありました Compiler Flagsに行き
--encryptと.mlmodelkeyファイルへのポインターを貼り付けます
その後再びビルドします
ビルドする度に Core ML Compilerがモデルをコンパイルし暗号化キーで暗号化しますこれで暗号化されたモデルがアプリケーションに組み込まれました次はロード方法を見てみましょう
“Stylize the Image”という関数がありますローディングには初回にネットワーク接続が必要なので非同期のモデルローディングメソッドを導入しましたこのFlowerStylizer.loadがそうですデフォルトのイニシャライザーは非推奨にする予定なので新しい.loadメソッドへの切り替えを強くお勧めします
ロードは自動的にAppleクラウドからキーをフェッチします Core MLは一度取得したキーを再度フェッチする必要がありません例えばアプリケーションを閉じ再起動するとします OSがキーをローカルに保存したので Core MLはネットワークリクエストを作成しませんモデルを含む“T”の結果です正常ケースではこれをアンラップでき前と同様にスタイライジングを続けられますしかし失敗のケースもありますその場合にはヘルパーメソッドがあり modelKeyFetchエラーにトラップをしかけますネットワーク接続が必要だとユーザーに知らせるといいでしょうモデルの暗号化を導入するのはこんなに簡単です暗号化を使用する手順は次のとおりですまず Xcodeで暗号化キーを作成します次に暗号化キーでモデルを暗号化します最後に暗号化されたモデルをデバイスにロードして使用します作成し暗号化しロードする簡単ですね
アプリケーションにバンドル化するか Model Deploymentで送るかにかかわらずモデルの暗号化はシームレスに動作します皆さんが行う作業はキーの作成とモデルの暗号化と.loadの呼び出しだけです残りは私たちが処理するのでアプリケーションの作成に専念できます最後に XcodeのCore MLのエキサイティングな最新情報をお伝えしますデモの間 Xcodeが表示する情報量の多さにお気づきになったでしょうかモデルがサポートするOSバージョンやクラスラベル内部ニューラルネットワークの詳細まで一目で分かります特に有用なもう１つの新機能がインタラクティブなモデルプレビューです
コードを書く前に Xcodeで直接モデルを検討できるようになっています広範囲にわたる多数のモデルプレビューに対応しています例えば画像分割や姿勢検出深度推定など Create MLでトレーニング可能なすべてのモデルが含まれますこちらがプレビュータイプの一覧です developer.apple.comで入手可能なモデルを検討してみてください
また Core MLモデルはXcode Playgroundの第一級メンバーになりました Core MLモデルをリソースフォルダにドラッグ＆ドロップすると Playgroundは自動生成されたクラスインターフェイスを取得しますこれによりライブのコーディングセッションでプログラム的にモデルを検討できますモデルのデモンストレーションを友人や同僚と共有することもできます今日の内容を振り返ってみましょう Core ML Model Deploymentを導入しましたこれによりアプリケーションとは独立してモデルを配信できます迅速なモデルの配信やターゲットの絞り込みが容易となりますアプリケーションの開発プロセスや機械学習の導入を大幅に加速させるでしょう
また独自のホスティングやキー管理を設定することなく送信中や停止中のモデルを保護するモデルの暗号化も導入しました現在はアプリケーションと一緒の出荷でも Core MLモデルの暗号化が可能です最後により簡単にモデルを理解できるよう XcodeにCore MLの機能拡張を追加しましたセッションをご視聴いただきありがとうございました

4:34 - Flower Classifier using Core ML Model Deployment

private func classifyFlower(in image: CGImage) {
        // Check for a loaded model
        if let model = flowerClassifier {
            classify(image, using: model)
            return
        }
      
        MLModelCollection.beginAccessing(identifier: "FlowerModels") { [self] result in
            var modelURL: URL?
            switch result {
            case .success(let collection):
                modelURL = collection.entries["FlowerClassifier"]?.modelURL
            case .failure(let error):
                handleModelCollectionFailure(for: error)
            }
                                                               
            let result = loadFlowerClassifier(from: modelURL)
                                                               
            switch result {
            case .success(let model):
                classify(image, using: model)
            case .failure(let error):
                handleModelLoadFailure(for: error)
            }
        }
    }

    func loadFlowerClassifier(from modelURL: URL?) -> Result<FlowerClassifier, Error> {
        if let modelURL = modelURL {
            return Result { try FlowerClassifier(contentsOf: modelURL) }
        } else {
            return Result { try FlowerClassifier(configuration: .init()) }
        }
    }

20:03 - Compiler flag for encrypting a model

--encrypt "$SRCROOT/HelloFlowers/Models/FlowerStylizer.mlmodelkey"

[Production note] or if we're tight for horizontal space we can use this:

--encrypt "$SRCROOT/.../FlowerStylizer.mlmodelkey"

20:50 - Working with an encrypted model

func stylizeImage() {
    // If we already loaded the model, apply the effect
    if let model = flowerStylizer {
        applyStyledEffect(using: model)
        return
    }
        
    // Otherwise load and apply
    FlowerStylizer.load { [self] result in
            
        switch result {

        case .success(let model):
            flowerStylizer = model
            DispatchQueue.main.async {
                applyStyledEffect(using: model)
            }
                
        case .failure(let error):
            handleFailure(for: error)
                
        }
    }
}

func handleFailure(for error: Error) {
    switch error {
    case MLModelError.modelKeyFetch:
        handleNetworkFailure()
            
    default:
        handleModelLoadError(error)
    }
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC20