Create ML Componentsについて学ぶ

Create ML Componentsについて学ぶ

Create MLにより、画像識別、オブジェクト検出、音声識別、ハンドポーズ識別、アクション識別、形式データの回帰などのカスタム機械学習モデルが簡単に構築できるようになります。また、Create ML Componentsフレームワークを使用すると、基礎となるタスクをさらにカスタマイズして、モデルを改良できるようになります。これらのタスクを構成する特徴抽出器、トランスフォーマー、エスティメーターについて解説し、これらを他のコンポーネントや前処理行程と組み合わせて、画像回帰などのコンセプトのカスタムタスクを構築する方法を紹介します。複雑なカスタマイズ可能なタスクの作成に関する詳細については、WWDC22の「Create ML Componentsで高度なモデルを作成する」をご覧ください。

リソース
- Create ML
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC23
- Create MLにおける機械学習強化
WWDC22
- Create ML Componentsで高度なモデルを作成する
- Create MLの最新情報
WWDC21
- Create MLによる手のポーズや動作の識別
- Create MLフレームワークを使ったダイナミックなiOS Appの構築
Tech Talks
- TabularDataを使ったSwiftでのデータの分析と操作
WWDC20
- Swiftパッケージ：リソースとローカリゼーション
WWDC19
- Understanding Images in Vision Framework
ダウンロード

♪音楽♪ ♪ こんにちはAlejandroです CreateML teamのエンジニアです今日はコンポーネントを使って機械学習モデルを構築する新しいAPIを紹介します Create MLはマシン学習モデルをトレーニングのためのAPIを提供しますこれは画像分類音声分類などのサポートされた一連のタスクに基づきます WWDC 2021では CreateMLフレームワーク関連の講演を 2回行いました必ずご確認ください定義されたタスク以上の事について話します Create MLの機能を上回る問題に対応するタスクをカスタマイズする場合や別のタイプのタスクをビルドする場合どうでしょうかコンポーネントを使って新しい創造的な方法でタスク作成ができるようになりましたそれでは見てみましょうまずMLタスクを分割し各コンポーネントの機能を説明しますそしてコンポーネントの接続方法を説明しますカスタムイメージタスクの例を紹介し表形式のタスクについて説明しますそして最後は展開戦略ですまず機械学習タスクの内部を調べそのタスクに何がありどう機能するかを理解しましょうカスタムタスクの作成をはじめると意味が分かると思います例として画像分類器を挙げます画像分類器はラベル付けされた画像のリストでモデルをトレーニングしますここにラべル付の犬と猫があります各ステップで画像の変換方法見ますそのために画像分類タスクを展開して中身を確認します概念的には画像分類器はとてもシンプルですこれは特徴抽出器と分類器でできていますただし重要な部分はMLコンポーネントの作成でコンポーネントに個別にアクセスできることですコンポーネントを追加削除切替えてタスクを作成しますコンポーネントをボックスとして表します矢印はデータのフローを表しています画像分類器の初めのステップである特徴抽出を見てみましょう通常特徴抽出器は特徴のある部分だけを保持して入力の次元を減らします画像の場合特徴抽出器は画像内のパターンを探します Create MLはVision Frameworkの画像特徴抽出機能である Vision Feature Printを使います次に行きましょう分類器についてです分類器は一連のサンプルから分類を学習します一般的な実装にはロジスティック回帰ブーストツリーニューラルネットワークがあり画像分類器のトレーニングは注釈付きの画像から始まりアノテーションされた特徴を経由して分類器にたどり着きますなぜこうするのでしょう理由は可能性を広げるためですコントラストを上げて前処理をしたいときもありますまたはすべての画像を正規化したいこともありますそのため特徴を抽出する前に均一な明るさにしますあるいは別の機能抽出機能を試したり別の分類器を試したいこともあります可能性は無限大ですこれらは選択肢のほんの一部ですなのでMLコンポーネントのサポートを macOS iOS iPadOS tvOSで追加しました当社の希望はコンポーネントの複数を独自のコンポーネントと一緒に使ったりコミュニティの他の人が構築したコンポーネントを使った新規モデルの作成ですそして皆さんは様々なプラットフォームで活用できます下記はCreateMLコンポーネントに組み込まれた物の一部ですがちょっと戻ってみましょう 2つのコンポーネントの種類がありますトランスフォーマーとエスティメーターですトランスフォーマーは単に何かの変換を実行できるタイプです入力タイプと出力タイプを定義します例えば画像特徴抽出器は入力画像を取得し特徴のある配列を生成します一方エスティメーターはデータから学習します入力例を取って数点処理を行いトランスを生成しますこのプロセスを「フィッティング」と呼びますではCreate MLコンポーネントを使ってコンポジションを使って各コンポーネントから画像分類器を構築する方法について説明しますこれはコンポーネントを使った画像分類器です特徴抽出器としてImageFeaturePrintがあり分類器として LogisticRegressionClassifierがありますコンポーネントがトランスフォーマーかエスティメータであるかに関係なく追加方法を使って結合しますそしてコンポーネントには無限の可能性があり単純な変更でロジスティック回帰ではなく全結合ニューラルネットワークを分類器として使うことができます例えばモデルギャラリーにあるヘッドレスResNet-50モデルです 2つのコンポーネントを構成する場合は最初のコンポーネントの出力は 2番目のコンポーネントの入力と同じです画像分類器の場合特徴抽出器の出力は CoreMLフレームワークからの整形された配列ですこれはロジスティック回帰分類器の入力です追加メソッドを使う際にコンパイラエラーが発生したらはじめに確認しますタイプマッチを確認しましょうフィッティングの重要なポイントも見ますそのフィッティングはエスティメーターからトランスフォーマーに移行すると話しました構成されたエスティメーターの観点からこれを見てみましょう画像分類器のようにエスティメーターにトランスフォーマーとエスティメーターがある場合はエスティメーターのピースのみが取り付けられますしかしトランスフォーマーはエスティメーターの適合方法に正しい機能を供給するために使われるのでプロセスの重要な部分ですこれがコードです画像分類器の特徴は画像であり注釈が文字列である注釈付きフィーチャーのコレクションが必要ですデモに入るときに機能のロードについて説明しますデータ取得後にfittedメソッドを呼出しますトレーニング済みモデルのトランスが返されますフィッティング時のタイプは関連していますが結果のトランスタイプとは異なるのでご注意ください特に fittedメソッドのタイプは常にコレクションですまた監視対象の見積もり担当者の場合機能に注釈が含まれる必要があります MLコンポーネントの作成には上記を使って機能と注釈を表しますモデルを入手したら予測を行うことができますフィットしたばかりのモデルであるかディスクからパラメーターをロードするかは関係ないです APIはどちらの場合も同じです分類器をトレーニングしているため結果は分類分布になります分布には各ラベルの確率が含まれますこの場合画像の最も可能性の高いラベルを印刷しているだけです適合方法は検証指標を含むトレーニングイベントを監視するメカニズムも提供しますこの例では検証データを渡し検証精度を出力しています監視対象の推定値のみが検証メトリックを提供することにご注意くださいモデルをトレーニングしたら学習済パラメーターを保存し後で再利用したり Appにデプロイしたりすることが可能ですこれは writeメソッドを使って行いますそしてreadメソッドで読み取ることができますそしてそれが構成ですこれがこのソリューションの面白いところです Create MLが今までサポート未対応だった新しいタスクの作成について話します
画像スコアリングのモデルトレーニングについてです果物の写真を分類する代わりに評価したいとします熟度に基づいてスコアを付けますこれを行うには分類ではなく回帰を行う必要がありますではバナナの熟度ごとに画像をスコア付けする画像リグレッサを作成しましょう各画像に1から10の間の熟度の値を与えますイメージリグレッサは画像分類器と類似しています唯一の違いは推定値が分類器ではなくリグレッサーになることですご想像のとおりこれは簡単なことです記憶のリフレッシュのためにここに画像分類器がありますそしてこれはイメージリグレッサですロジスティック回帰分類器を線形回帰器に置き換えましたこのシンプルな変更によってフィットされたメソッドへの入力も変更されます以前は画像とラベルが必要でした今は画像とスコアが必要ですコンセプトについては十分です実際のコードでこれをデモしてみましょう
カスタムイメージリグレッサの作成方法を紹介しますコードカプセル化のため画像リグレッサ構造を定義してみましょう
さまざまな熟度のバナナの画像が入ったフォルダがありますそのURLを定義することから始めます
次はトレーニングメソッドの追加ですここでトレーニングデータを使ってモデルの作成を行います構成されたエスティメータでステップを追加変更する際リターンタイプが変更されないようリターンタイプを「some」にしますそれではエスティメーターを定義しますこれは線形回帰が追加されたシンプルな特徴抽出器ですそして今このスコアでトレーニング画像をロードする必要があります URLと文字列ラベルを含む注釈付き機能の注釈付きファイルを使えますニーズに合った便利な初期化子を提供しますファイルは名前ダッシュ熟度の値で構成されていますそのため区切り文字がダッシュで注釈がファイル名コンポーネントのインデックス：1にあることを指定しますまたtype引数を使って画像ファイルのみをリクエストします URLができたので画像をロードしましょう mapFeaturesメソッドと ImageReaderが使えますまたスコアを文字列から浮動小数点値に変換する必要がありますこれにはmapAnnotationsメソッドが使えます
これでトレーニングデータができましたしかしいくつかは検証のためにとっておきましょうここではラrandomSplitメソッドを使いますトレーニング用に80％を使い残りを検証に使用します準備ができました
トレーニング用のパラメータを保存し Appをデプロイします保存先を選びます
そしてwriteメソッドを呼び出します
最後にトランスフォーマーを返します
この定義方法とトレーニングモデルはコンポーネントを使いますエスティメーターを定義しトレーニングデータをロードして近似メソッドを呼び出し書き込んでパラメータを保存しますしかしまだ改善できる点があります手始めに検証データセットを行いますが検証エラーを観察しないためやってみましょう fitedメソッドはメトリックの収集に使えるイベントハンドラーを取ります
今はトレーニングと検証の両方の最大エラー値を出力します最終モデルの平均絶対誤差も必要です
検証機能に近似を適用し実際のスコアと共に meanAbsoluteError関数で計算します実行してみましたがエラーが多く良いモデルになりませんでしたこれはバナナの画像が少なかったからです実行前にもっと画像を集めるべきでしたデータセットを拡張してみましょう画像を回転・拡大縮小してより多くの例を得られますこのために注釈つきの画像を用意してそれを拡張するための新しいメソッドを作ります注釈付き画像の配列を返します
まずは回転してみます
-piとpiの間の角度をランダムに選び画像を回転させますまたランダムにスケールして
3つの画像を返します元の画像回転スケールの３つです
拡張機能を使ってflatMapを使用しトレーニング画像を拡張します
データセットの各要素は配列に変換されます FlatMapは配列を平坦化しますこれは近似メソッドに必要です拡張は予測を行う時ではなくフィッティング時にのみ適用されることにご注意くださいこれで正確性が向上しますここでモデル改善のさらなるポイントについてお話しします Visionフレームワークで画像の目立つ部分にトリミングします画像はトレーニングデータの一部です他の果物が映っている所で誰かがバナナを持っていますこの場合他のものが画像に映るのでモデルが混乱します Vision framework APIは最も顕著なオブジェクトに自動でクロップします詳細はWWDC2019をご確認くださいフィッティング時も予測取得時もカスタムトランスフォーマーを書くだけで簡単に適用できます実際にやってみましょう適用されたメソッドの実装だけでトランスフォーマープロトコルに準拠できます画像を受け取って返してみます顕著なオブジェクトを取得しない場合元の画像を返すだけであるということを除きこのコードについては説明を省略しますカスタムトランスフォーマーができたので画像リグレッサに追加します
特徴を抽出する前にカスタムトランスフォーマーを使います
顕著性はタスク定義の一部になっているためあらゆるトレーニング画像をトリミングするのに使われ推論する時にも使われますこれはトレーニングと推論の間でタスク定義を共有することの利点のひとつです次のタスクの前にいくつか重要なポイントを強調しますコンポーネントを使ってカスタムタスクが作れます私は追加メソッドで作成しました注釈付きファイルを使って注釈付きファイル名でファイルをロードしましたがディレクトリで注釈付きのファイルをロードすることも可能です画像リーダーを使ってURLを画像にマッピングしました randomSplitで検証データセットを確保して後で使うためにトレーニング済のパラメータを保存します拡張機能を追加してモデル改善のためのカスタムトランスフォーマーを定義しましたしかしこれは単なる画像以上のものですここでタビュラータスクについて説明しましょうこれは表形式のデータを使用するタスクです表形式のデータには様々なタイプの機能があることが特徴です数値データとカテゴリデータの両方を含めることができます一般的な例としては住宅価格のデータが当てはまりますエリアや築年数だけでなくご近所や建物の種類などもあります例えば売却価格など価値の予測を学びたいとします 2021年リリースの TabularDataフレームワークを Create MLコンポーネントと一緒に使って表形式の分類器とリグレッサーを構築します TabularDataのセッションもお勧めですタスク構築の時に必要なデータ拡張についても学ぶことができますそれでは見てみましょう表形式のデータを処理する場合表の各列には違うタイプの機能がありまた情報の種類に基づき各列をそれぞれの方法で分布値の範囲等にあわせ処理することも可能です Create MLコンポーネントの作成では ColumnSelectorを使います次の方法で処理することができます住宅価格はご覧の通りなのでアボカドの価格を例に出しましょうここに価格表がありますここで価格予測のための表形式リグレッサーを作成してみましょう単位数年度数量などの数値データとタイプや地域などのカテゴリ列があります一部のリグレッサーはこれらの値をより適切に表現することで意味があります例えばこれはデータセット内の数量分布です通常の分布に近いですが15000を中心に大きな値がありますこれは正規化の恩恵を受ける可能性のあるデータセットの良い例だと思いますそのため最初行うのは値の正規化です正規化する列名を ColumnSelectorに入れて標準スケーラーを使いますこれがコードですまず列セクターを作ります次にスケーリングする列名を入れますすべての列に同じタイプの要素がある必要がありますこの場合 Doubleです次にオプションをアンラップします欠落値がないことがわかっているので実行できます次にStandardScalerをアンラッパーに追加しますそこで袋の数が数万数量が数十万のこの表から始めましたそして列をスケーリングした後で 1に近い値になりモデルパフォーマンスを向上させます具体的には値の平均がゼロになりましたこれは同様の例ですがこの例ではタイプ文字列のタイプ列と地域列を選択しワンホットエンコーディングを実行しますワンホットエンコーディングとはアレイを使ってカテゴリデータをエンコードし各カテゴリの存在を示しますここにはブロンズシルバーゴールドの 3つのカテゴリがありますそれぞれがアレイ内で一意の位置を取得しその位置に1つ示されます別の方法は各カテゴリに連続した番号を与える通常のエンコーダを使うことですカテゴリが少ない場合はワンホットエンコーダを使いそれ以外の場合は通常のエンコーダを使いますすべてをまとめて表形式のリグレッサーを作ります
前と同じように構造の作成とデータURLとパラメーターURLの定義をはじめます
また予測したい列（価格）の列IDを定義します
トレーニングメソッドと予測メソッドの両方で使えるようにタスクを個別に定義します
前に話したように音量を正規化します
次にboosted tree regressorを使って価格を予測しますこれは結果の予測の列でもある注釈列の名前を取り3つの特徴列すべての名前を取りますこれらの3つの列から始めます次に注釈メソッドでピースを結合してタスクを返します
タスク定義ができたので前と同じようにトレーニングメソッドを追加します
そして前と同じようにリターンタイプがモデルの詳細に依存しないことを確認しますまずCSVファイルをデータフレームにロードしますこの作業に表形式データフレームワークを使います以前と同じように検証用にデータを分割します
トレーニングと検証のデータセットを適合メソッドに適用します
以前と同様に検証エラーも報告しトレーニング済のパラメーターを保存します
最後にトランスフォーマーを返します
用意されたトランスフォーマーを入手したらデータフレームの価格予測を行えますそのために予測メソッドを作成します
まずタスク定義とパラメーターURLからモデルをロードします
データフレームにタイプ地域数量などの機能として使用した列があることを確認しましょう予測値は価格の列に表示されます上部で定義した列IDを使用します
表形式のリグレッサーは終わりですトレーニングされたパラメータを生成するため一度だけ呼び出す必要があるメソッドとアボカドの価格タイプ地域数量に基づく予測を返す予測メソッドがあります Appで使うために必要なのはこれだけです表形式のタスクで作業する際に注意すべき点がいくつかあります ColumnSelector操作を使って特定の列を処理できますツリー分類器とリグレッサはすべて表形式であることにご注意ください表形式のタスクは注釈つき機能プロバイダーで線形回帰等の非表形式を使うこともできます詳しくはドキュメントをご確認ください予測を行うときは必要な列を使ってデータフレームを作成し正しいタイプを使っていることをご確認くださいカスタムタスクの作成方法を理解したのでデプロイについて説明しましょう今までトレーニングと推論に同じAPIを使いました Create MLコンポーネントを使う場合モデルはコードであることを指摘しておきますトレーニングされたパラメータをファイルからロードする場合でもタスク定義が必要ですこれは状況によっては便利になりますがデプロイにCoreMLを使いたいこともあります Core MLを使う場合はコードを残しますモデルはモデルファイルによって表されます Core MLを使う準備ができているなら優れたワークフローになる可能性がありますまた最適化されたテンソル操作の利点があります覚えておくと良いです CoreMLですべての操作がサポートされているとは限りませんここにはカスタムトランスフォーマーとエスティメータなどが含まれますまた Core MLは画像や成形アレイなどのタイプだけをサポートします Core MLモデルを使う際にAppで変換するだけですこれがCore MLモデルとしてトランスフォーマーをエクスポートする方法ですトランスにサポートされていない操作が含まれている場合エラーをスローしますトレーニングされたパラメータとともにタスク定義をデプロイすることにこだわるなら Swiftパッケージへのバンドルをご検討くださいこれでパラメータをロードし簡単に予測できます Swiftパッケージリソースの詳細は WWDC2020の講演をご確認くださいこれで以上です覚えておいていただきたいのはコンポジションを使ってカスタムタスクを作成できるということであり可能性は無限大ですどんなものができるか楽しみにしています音声ビデオタスクを含む上級編については「Create ML Componentsで高度なモデルを作成する」のセッションをご確認ください私の同僚Davidが解説します残りのWWDC 2022もお楽しみください

import CoreImage
import CreateMLComponents

struct ImageRegressor {
    static let trainingDataURL = URL(fileURLWithPath: "~/Desktop/bananas")
    static let parametersURL = URL(fileURLWithPath: "~/Desktop/parameters")

    static func train() async throws -> some Transformer<CIImage, Float> {
        let estimator = ImageFeaturePrint()
            .appending(LinearRegressor())

        // File name example: banana-5.jpg
        let data = try AnnotatedFiles(labeledByNamesAt: trainingDataURL, separator: "-", index: 1, type: .image)
            .mapFeatures(ImageReader.read)
            .mapAnnotations({ Float($0)! })

        let (training, validation) = data.randomSplit(by: 0.8)
        let transformer = try await estimator.fitted(to: training, validateOn: validation)
        try estimator.write(transformer, to: parametersURL)

        return transformer
    }
}

12:18 - Image regressor with metrics and augmentations

import CoreImage
import CreateMLComponents

struct ImageRegressor {
    static let trainingDataURL = URL(fileURLWithPath: "~/Desktop/bananas")
    static let parametersURL = URL(fileURLWithPath: "~/Desktop/parameters")

    static func train() async throws -> some Transformer<CIImage, Float> {
        let estimator = SaliencyCropper()
            .appending(ImageFeaturePrint())
            .appending(LinearRegressor())

        // File name example: banana-5.jpg
        let data = try AnnotatedFiles(labeledByNamesAt: trainingDataURL, separator: "-", index: 1, type: .image)
            .mapFeatures(ImageReader.read)
            .mapAnnotations({ Float($0)! })
            .flatMap(augment)

        let (training, validation) = data.randomSplit(by: 0.8)
        let transformer = try await estimator.fitted(to: training, validateOn: validation) { event in
            guard let trainingMaxError = event.metrics[.trainingMaximumError] else {
                return
            }
            guard let validationMaxError = event.metrics[.validationMaximumError] else {
                return
            }
            print("Training max error: \(trainingMaxError), Validation max error: \(validationMaxError)")
        }

        let validationError = try await meanAbsoluteError(
            transformer.applied(to: validation.map(\.feature)),
            validation.map(\.annotation)
        )
        print("Mean absolute error: \(validationError)")

        try estimator.write(transformer, to: parametersURL)

        return transformer
    }

    static func augment(_ original: AnnotatedFeature<CIImage, Float>) -> [AnnotatedFeature<CIImage, Float>] {
        let angle = CGFloat.random(in: -.pi ... .pi)
        let rotated = original.feature.transformed(by: .init(rotationAngle: angle))

        let scale = CGFloat.random(in: 0.8 ... 1.2)
        let scaled = original.feature.transformed(by: .init(scaleX: scale, y: scale))

        return [
            original,
            AnnotatedFeature(feature: rotated, annotation: original.annotation),
            AnnotatedFeature(feature: scaled, annotation: original.annotation),
        ]
    }
}

20:23 - Tabular regressor

import CreateMLComponents
import Foundation
import TabularData

struct TabularRegressor {
    static let dataURL = URL(fileURLWithPath: "~/Downloads/avocado.csv")
    static let parametersURL = URL(fileURLWithPath: "~/Downloads/parameters.pkg")

    static let priceColumnID = ColumnID("price", Double.self)

    static var task: some SupervisedTabularEstimator {
        let numeric = ColumnSelector(
            columns: ["volume"],
            estimator: OptionalUnwrapper()
                .appending(StandardScaler<Double>())
        )
        let regression = BoostedTreeRegressor<String>(
            annotationColumnName: priceColumnID.name,
            featureColumnNames: ["type", "region", "volume"]
        )

        return numeric.appending(regression)
    }

    static func train() async throws -> some TabularTransformer {
        let dataFrame = try DataFrame(contentsOfCSVFile: dataURL)
        let (training, validation) = dataFrame.randomSplit(by: 0.8)
        let transformer = try await task.fitted(to: DataFrame(training), validateOn: DataFrame(validation)) { event in
            guard let validationError = event.metrics[.validationError] as? Double else {
                return
            }
            print("Validation error: \(validationError)")
        }
        try task.write(transformer, to: parametersURL)
        return transformer
    }

    static func predict(
        type: String,
        region: String,
        volume: Double
    ) async throws -> Double {
        let model = try task.read(from: parametersURL)
        let dataFrame: DataFrame = [
            "type": [type],
            "region": [region],
            "volume": [volume]
        ]
        let result = try await model(dataFrame)
        return result[priceColumnID][0]!
    }
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC23

WWDC22

WWDC21

Tech Talks

WWDC20

WWDC19