PyTorchモデルをCore MLに変換する

PyTorchモデルをCore MLに変換する

PyTorchモデルをCore MLへ変換して、オンデバイスの機械学習をAppで活用する方法を理解しましょう。 PyTorchの機械学習のフレームワークは、複素ニューラルネットワークの作成やトレーニングを手助けします。モデルを構築した後にCore MLへと変換し、完全にオンデバイスで動かすことができ、CPUやGPU、ニューラルエンジンを最大限に活用できます。 Core ML ToolsパッケージがTorchScriptモデルを直接、変換させる方法を理解し、カスタマイズ操作と発生する変換エラーの扱いについて学びましょう。 Core MLコンバータについて更に学びたい場合は、WWDC20の "Get models on device using Core ML Converters"をご覧になるのをお勧めします。

リソース
関連ビデオ

WWDC23
- Core ML Toolsを使った機械学習モデルの圧縮法
WWDC22
- 機械学習を組み込んだAppの開発手法
WWDC21
- Core MLモデルのチューニング
WWDC20
- Core ML Convertersを使用したデバイス上のモデルの取得
ダウンロード

どうも　私はスティーブ Appleのエンジニアです私はポール　同じくエンジニアですこの動画では Core MLの新機能の１つを詳しく説明します PyTorchモデルのCore MLへの変換です
WWDC 2020では Core MLコンバータの見直しを発表しました変換プロセスの多くの要素が改善されています
ディープラーニング業界でよく使われるライブラリのサポートを拡張しましたコンバータアーキテクチャを再設計することで新しいインメモリ表現を活用し― ユーザー体験を向上させましたまたAPIを統一したため― どのモデルソースからでも変換するのに１コールで済みますまだ見ていない方は― 下記の動画をぜひご覧ください新しいコンバータアーキテクチャの詳細を紹介しています
今回の動画はモデル変換が主題ですまずはPyTorchのディープラーニングフレームワーク内で構築されたモデルから始めましょう
例えばあなたが PyTorchを使ってモデルを訓練している― MLエンジニアだとしましょうあるいはApp開発者でオンラインで最適のPyTorchモデルを見つけて Appに導入したいとしましょう
問題は― PyTorchモデルをどうやってCore MLモデルに変換するかです古いCore MLコンバータでは― モデルを一度 ONNXにエクスポートする必要がありました使ったことがある人は― 制約を感じたかもしれません ONNXはオープン標準なので― 新機能の追加は遅くなりがちですその上 PyTorchのようなMLフレームワークは― 新機能をONNXにエクスポートするサポートの提供に時間がかかりますそのため古いコンバータでは― PyTorchモデルをONNXにエクスポートできず Core MLに変換できなかったこともあるでしょう
新しいCreate MLコンバータでは― この余計な障壁を取り除きました
この動画では― 新しいPyTorchモデル変換方法を詳しく説明します実際の変換例を見せながら― PyTorchモデルをCore MLに変換する方法をいくつか紹介しますそして最後に途中トラブルが発生した時のために― いくつか役立つヒントを紹介します
それでは新しい変換プロセスを見ていきましょう
変換したいPyTorchモデルから出発し― PyTorchのJITモジュールを使い TorchScriptという表現に変換しますちなみにJITとは Just In Timeを略した言葉です次にTorchScriptモデルから― 新しいCore MLコンバータを使って MLモデルを生成しAppにドロップします動画の後半で― TorchScript変換プロセスを詳しく説明しますでも今は新しいコンバータの仕組みを見てみましょう
コンバータはPythonで書かれているので― 起動するのに数行のコードしか必要ありません用意するのはモデル TorchScriptオブジェクトか― ディスクに保存したパスそれとモデルのインプット情報ですモデルのアウトプット情報を含めてもいいですがそこは任意です
コンバータは TorchScriptグラフの演算を繰り返し― １つずつ Core MLで同等のものに変換していきます時には１つのTorchScript演算が― 複数のCore ML演算に変換されることもありますまた時にはグラフ最適化パスが未知のパターンを検出し― 複数演算を１つに融合させます
時にはモデルがコンバータが理解できないカスタム演算を― 含んでいることがありますでもコンバータは伸張性があるので― 新しい演算のために定義を加えるのは簡単です多くの場合― 既存の演算の組み合わせとして表現できますこれをComposite opと呼びますそれで足りなければ― カスタムSwift実装を書きそれをターゲットに変換することもできますこの動画でその詳細は説明しません例や解説はぜひ我々のオンラインリソースをご覧ください
変換プロセスの全体像が分かったところで最初に戻り― PyTorchモデルからTorchScriptモデルを得る方法を詳しく見ましょう方法は２つあります１つは“トレーシング” もう１つは“スクリプティング”です
まずはモデルのトレースとは何か？
トレーシングは PyTorchの JITモジュールのトレースメソッドを使って行いますこちらのコードです PyTorchモデルをインプット例と一緒に渡すと― TorchScript表現でモデルを返してくれますこのコールは何をするのか？アクティブなトレーシングはインプット例をモデルのフォワードパスに走らせ― モデルの層を進む中インプットが起動する演算をキャプチャしますこれらの演算の集まりが― やがてモデルのTorchScript表現になりますトレースに使うインプット例を選ぶ際― 一番いいのは通常使用時にモデルが使うデータと似たものです例えば検証データや― Appがモデルに提示する時と同じ方法でキャプチャされたデータがいいでしょうランダムなデータでも可能ですその際はインプット値の範囲と― テンソルの形がモデルが求めるものと一致するようにしましょう理解を深めるため例を見ていきましょう同僚のポールを紹介します PyTorchからCore MLへ分割モデルを変換するプロセスを解説してもらいますありがとう　スティーブここに分割モデルがあり― オンデバイスで走らせるとしますちなみに分割モデルの役割は― 画像に対してピクセルごとにクラス確率スコアを割り当てることですではどうやってモデルをオンデバイスで走らせるか？モデルをCore MLモデルに変換しますまずPyTorchモデルをトレースし― JITトレーシングモジュールを使って TorchScriptフォームにしますそれから新しいCore MLコンバータを使って― TorchScriptモデルをCore MLモデルに変換します最後に Core MLモデルが― Xcodeにいかにシームレスに統合するか見せつけますではコードを見ていきましょう
このJupyter Notebookで― スライドで言及したPyTorch分割モデルを Core MLモデルに変換しますコードを試したい方は― 動画関連のコードスニペットをご覧くださいまずデモ用にいくつか依存をインポートします
次にtorchvisionから ResNet-101分割モデルをロードしますインプット例もですこの場合は犬と猫の画像です
PyTorchモデルはPIL画像オブジェクトではなくテンソルを取り込みますそこで画像を transforms.ToTensorでテンソルに変換しますモデルはテンソルでバッチサイズを示す追加次元を求めているのでそれも追加します
先述のように― Core MLモデルコンバータがTorchScriptモデルを受け取ります Torch.JIモジュールのトレースメソッドを使い PyTorchモデルをTorchScriptモデルに変換します
おや？　トレーシングで例外がスローされました例外メソッドにあるように― テンソルかテンソルのタプルしかトレースした関数からアウトプットできませんこれはPyTorchのJITモジュールの制約ですここで問題なのはモデルが辞書を返していることです解決のためモデルをPyTorchモジュールでラップし― アウトプット辞書からテンソル値のみを抽出させます
ここでPyTorchのモジュールクラスから継承するクラスラッパーを宣言します
上にあるように ResNet-101を含むモデル属性を定義します
フォワードメソッドでは― “out”と名付けたキーで返された辞書を索引化しテンソルアウトプットのみを返します
これで辞書でなくテンソルを返すようになり― トレースも成功します
ここで新しいCore MLコンバータを活用しますまずインプットとそのプリプロセスを定義します
インプットをImageTypeとして定義しプリプロセスで画像をImageNetの統計で正規化し値を０から１の間まで下げますこのプリプロセスがResNet-101が求めるものです
次にCore ML Toolsの変換メソッドを呼び出し TorchScriptモデルとインプット定義を渡します
変換後モデルのメタデータを設定し― Xcodeなど他のプログラムに理解できるようにしますモデルの型を分割に設定し― モデルの順にクラスを列挙します
変換したモデルは機能するか？ Xcodeを通じてモデルのアウトプットを簡単に視覚化できますまずモデルを保存します
次にFinderで保存したモデルをクリックすると Xcodeで開かれますここでインプットの形と型を含むメタデータを見ることができます
モデルのアウトプットを視覚化するには― プレビュータブを開き犬と猫のサンプル画像をドラッグ＆ドロップします
うまくペットたちが分割されているようです
ResNet-101はトレースできましたが― トレースできないモデルもありますそれらのモデルの変換方法を説明するため― スティーブに戻します
ありがとう　ポールトレーシングを使った変換の仕組みは分かりましたでもTorchScriptを得る方法はもう１つありますスクリプティングですスクリプティングは― PyTorchモデルを直接TorchScript演算にコンパイルする方法ですトレーシングではデータが流れる中モデルをキャプチャしますモデルのスクリプティングも簡単です PyTorchのJITモジュールのスクリプトメソッドを起動し― モデルを提供するだけですここまででTorchScript表現にする方法を２つ紹介しましたがどう使い分ければいいのか？モデルが制御フローを含む場合はスクリプティングを使うべきです例を見て理由を説明しましょうこのモデルには枝やループがあり― スクリプティングならすべてキャプチャできますモデルを直接コンパイルするからですもしトレースすれば― インプットの通り道しか得られませんそれではモデル全体をキャプチャできません
モデルをスクリプトする時― どうするのがベストか？可能な限りモデルをトレースし― 必要な個所だけスクリプトしましょう基本的にトレーシングのほうがスクリプティングよりもシンプルな表現を― 生成できるからですコードを見ながら説明しましょうこの例では― ループの中でモデルが固定の回数コードを走らせますそこでループ本体を隔離し― 簡単にトレースできるような形にしましたその後モデル全体にスクリプティングを適用します要するに必要な制御フローだけに限定してスクリプティングし― 残りはすべてトレーシングしますすでにTorchScriptに変換済みのコードはスキップするので― この方法が可能になっています
次はスクリプティングを使う具体例を見てみましょうポールに戻します言語モデルの変換を解説してもらいますどうも文章完成モデルを― Core MLモデルに変換したいとしましょう文章完成というのは― モデルを使って文章の断片から次の言葉を予測するタスクです演算ステップはどうなっているでしょうか？まずは文章の断片をエンコーダーと呼ばれるものに通して― モデルが理解できる表現に翻訳しますこの場合は整数トークンのシーケンスです次にトークンのシーケンスをモデルに渡し― シーケンス内の次のトークンを予測させますそのまま断片的な文章をモデルに与え続け― モデルが文末トークンを予測するまで末尾に新しいトークンを加えていきますつまり文章が完成するまでです完成文のトークンが得られたので― デコーダーに渡しトークンを言葉に変換し直させますこのダイアグラムの途中部分トークンのリスト作成を― Core MLモデルに変換しますエンコーダーとデコーダーは別々に扱われます理解を深めるため疑似コードを見てみましょうモデルのコアは次のトークン予測ですこれにはHugging FaceのGPT2モデルを使います予測子はトークンのリストをインプットとして受け取り― 次のトークン予測をくれます次に予測子に制御フローをラップし― 文末トークンが出るまで続けます
ループ内で予測されたトークンを現行リストに加え― 以降それを予測子のインプットとして使用し続けます予測子が文末トークンを返したら― 完成文をデコーディングのために返しますこのプロセスをコードで見るため― Jupyter Notebookを使いましょうこのノートブックで文章の断片から文章を完成させる言語モデルを構築しますインポートを片付けましょう
これがモデルのコードです
モデルはtorch.Moduleから継承し― 以下の属性を含みます文末トークン次のトークン予測モデルそして文頭を示すデフォルトトークン
フォワードメソッドには先述のように― トークンのリストから次を予測するループ本体を書いていますループは文末トークンが生成されるまで続きますその後完成文を返します
次のトークン予測子はGPT2で― ループ本体内にあります
先ほどのようにモデル全体のスクリプティングと隔離してループ本体をトレースします JITトレーサーを次のトークン予測子にのみ走らせますトークンのリストをインプットとして受け取るのでトレーシングにはランダムなトークンのリストを渡します
トレーサーが警告を発しましたこのトレースは他のインプットに一般化されないと出ています注意すべきはこの警告がCoreMLでなく PyTorchのJITトレーサーから来ている点です後ほどトラブルシューティングセクションで説明しますが問題ないので今は警告を無視します
ループ本体の大部分をトレースしたので文章完成モデルを例示化して JITスクリプターを適用しCoreMLへの変換に備えます
次にTorchScriptモデルを― 分割デモの時のようにCoreMLモデルに変換します
では文章を完成させられるか見てみましょう文章の断片を作成します今回は“The Manhattan Bridge is”ですこれをGPT2のエンコーダーで走らせ― 断片をエンコードしますそしてトークンのリストを Torchテンソルに変換します
次にCoreMLモデルからインプットをまとめ― モデルを走らせ GPT2のデコーダーでアウトプットをデコードします
いいですね CoreMLモデルが文章を完成させましたマンハッタン橋に関する発言を生成したようです
CoreMLフォーマットにするためモデルをトレースしスクリプトする中で― つまずくこともあるかもしれませんスティーブから助言をもらいましょう
ではここでPyTorchモデルをCore MLに変換する際に経験した問題を振り返り― トラブルシューティングのヒントやベストプラクティスを紹介します
先ほどの分割デモで― トレーシング中にエラーに遭遇しました理由はモデルが辞書を返したからです JITトレーサーはテンソルかテンソルのタプルしか扱えません
デモではモデルの周りにラッパーを作成し― 元のアウトプットを解凍して解決しましたこの例ではモデルが辞書を返しましただからここで推定結果を表す辞書キーにアクセスし― そのテンソルを返していますもちろんこのやり方は辞書から複数アイテムにアクセスして返すか他のタイプのコンテナを解凍する時も使えます
言語モデルのデモでは― トレーサーの警告で他のインプットに一般化できない可能性が示されました問題となるコードも表示されていました
では実際何が起きているのか？モデルソースコードを見てみると― モデルが別のテンソルのサイズに基づいてテンソルをスライスしているのが分かりますテンソルのサイズは生のPython値になりますつまりPyTorchテンソルではありませんトレーサーは生のPython値で行われる演算操作が― トレースできないと警告していますただこのケースでは― トレーサーが少し警告を焦りすぎたようです実際は問題ありません
生のPython値で操作されるコードをトレースする際は経験則から言って― 組み込みのPython演算しかトレーサーは正しくキャプチャできません
いくつか例があります正しくトレースできるかどうか― これらを見て確認しましょう最初の例はデモとよく似通っており― 正しくトレースできます組み込み演算である足し算が適用されているからです
２つ目の例も正しくトレースできますこちらも組み込みの余剰演算子を使っています
しかし３つ目は正しくトレースできません JITトレーサーが辞書関数math.sqrtが何をするか理解できずトレースされたグラフはテンソルサイズと平方根を演算するのではなく― 一定値を記録します
しかしmath.sqrtを Python組み込みのべき乗演算に置き換えれば― 正しくトレースできます次はスクリプティングの失敗例を見ましょうこのモデルは空のリストから始めて― 継続的に固定の一連の整数を追加しますこれは有用なモデルではなく― 失敗例のためなのでご注意をこのモデルをスクリプトすると― 型が一致しないというランタイムエラーが出ます JITスクリプターはモデルをTorchScriptにするのに型情報が必要で― 文脈からオブジェクト型を推測しますでもそれができない時もありますオブジェクトの型が分からない場合― オブジェクトはテンソルだと見なしますこの例では実際は整数のリストとして構築されているのに― テンソルのリストと見なしていますではどうすればいいか？意味のある変数の初期化を含ませるか型アノテーションを使うかですモデルを調整し両方の例を示してみました
そして最後にもう１つトレーシング前に必ずモデルを評価モードにしてくださいこれにより― すべての層が訓練よりも推測向けの設定になります大半の層では関係ありませんただ例としてモデルにドロップアウト層がある場合― 評価モードにすれば無効になりますコンバータは無効になっている演算に遭遇すると― パススルー演算として扱います
この動画でいろいろお話ししましたが― 関連リンクからさらに詳しい情報が得られます例えばCoreMLコンバータのドキュメントカスタムオペレータ変換の情報 TorchScriptの詳細な例もたくさんあります
PyTorchモデル変換の最高水準のサポートをご提供できるのが楽しみです新しいCoreMLコンバータが― PyTorchモデルに役立つことを願っていますオンデバイスのモデル実行を最適化し― 変換を簡単にするため最大限のサポートを提供しますご視聴ありがとうございました

# # Converting a Segmentation Model via CoreML

# ### Imports

import urllib
import torch
import torch.nn as nn
import torchvision
import json

from torchvision import transforms
import coremltools as ct
from PIL import Image


# ### Load Sample Model and Image

# Load model
model = torch.hub.load('pytorch/vision:v0.6.0', 'deeplabv3_resnet101', pretrained=True).eval()
# Load sample image
input_image = Image.open("dog_and_cat.jpg")
display(input_image)


# ### Image Preprocessing

to_tensor = transforms.ToTensor()
input_tensor = to_tensor(input_image)
input_batch = input_tensor.unsqueeze(0)


# ### Trace the Model with PyTorch

# First attempt at tracing
trace = torch.jit.trace(model, input_batch)


# ### Wrap the Model to Allow Tracing

class WrappedDeeplabv3Resnet101(nn.Module):
    
    def __init__(self):
        super(WrappedDeeplabv3Resnet101, self).__init__()
        self.model = torch.hub.load('pytorch/vision:v0.6.0', 'deeplabv3_resnet101', pretrained=True).eval()
    
    def forward(self, x):
        res = self.model(x)
        x = res["out"]
        return x


# ### Trace the Wrapped Model

traceable_model = WrappedDeeplabv3Resnet101().eval()
trace = torch.jit.trace(traceable_model, input_batch)


# ### Convert to Core ML 

# Define input
_input = ct.ImageType(
    name="input_1", 
    shape=input_batch.shape, 
    bias=[-0.485/0.229,-0.456/0.224,-0.406/0.225], 
    scale= 1./(255*0.226)
)

# Convert model
mlmodel = ct.convert(
    trace,
    inputs=[_input],
)


# ### Set the Model Metadata

labels_json = {"labels": ["background", "aeroplane", "bicycle", "bird", "board", "bottle", "bus", "car", "cat", "chair", "cow", "diningTable", "dog", "horse", "motorbike", "person", "pottedPlant", "sheep", "sofa", "train", "tvOrMonitor"]}

mlmodel.type = 'imageSegmenter'
mlmodel.user_defined_metadata['com.apple.coreml.model.preview.params'] = json.dumps(labels_json)


# ### Save the Model for Visualization

mlmodel.save("SegmentationModel.mlmodel")

16:32 - Converting a Language Model

# # Converting a Language Model via Core ML

# ### Imports

import torch
import numpy as np
from transformers import GPT2LMHeadModel, GPT2Tokenizer
import coremltools as ct


# ### Model

class FinishMySentence(torch.nn.Module):
    def __init__(self, model=None, eos=198):
        super(FinishMySentence, self).__init__()
        self.eos = torch.tensor([eos])
        self.next_token_predictor = model
        self.default_token = torch.tensor([0])
    
    def forward(self, x):
        sentence = x
        token = self.default_token
        while token != self.eos:
            predictions, _ = self.next_token_predictor(sentence)
            token = torch.argmax(predictions[-1, :], dim=0, keepdim=True)
            sentence = torch.cat((sentence, token), 0)
        
        return sentence


# ### Initialize the Token Predictor

token_predictor = GPT2LMHeadModel.from_pretrained("gpt2", torchscript=True).eval()


# ### Trace the Token Predictor
# 

random_tokens = torch.randint(10000, (5,))

traced_token_predictor = torch.jit.trace(token_predictor, random_tokens)


# ### Script the Outer Loop
# 

model = FinishMySentence(model=traced_token_predictor)
scripted_model = torch.jit.script(model)


# ### Convert to Core ML
# 

mlmodel = ct.convert(
    scripted_model,
    # Range for the sequence dimension to be between [1, 64]
    inputs=[ct.TensorType(name="context", shape=(ct.RangeDim(1, 64),), dtype=np.int32)],
)


# ### Encode the Sentence Fragment
# 

sentence_fragment = "The Manhattan bridge is"

tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
context = torch.tensor(tokenizer.encode(sentence_fragment))


# ### Run the Model

coreml_inputs = {"context": context.to(torch.int32).numpy()}
prediction_dict = mlmodel.predict(coreml_inputs)
generated_tensor = prediction_dict["sentence:2"]
generated_text = tokenizer.decode(generated_tensor)

print("Fragment: {}".format(sentence_fragment))
print("Completed: {}".format(generated_text))

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC23

WWDC22

WWDC21

WWDC20