Create MLを使用したアクションクラシファイアの構築

Create MLを使用したアクションクラシファイアの構築

Create MLでAction Classificationモデルを作成する方法を説明します。カスタムアクションクラシファイアを使用すると、Appはビデオまたはカメラを介してリアルタイムで身体の動きを認識し、理解することができます。ジャンピングジャック、スクワット、ダンスの動きなどの人間の動作を識別するために、サンプルを使用してCore MLモデルを容易にトレーニングする方法についてご説明します。これを支えるVision FrameworkのBody Pose推定機能の働きについてもご説明します。フィットネスのルーチンをコーチングしたり、スポーツのフォームに関してフィードバックを提供したりすること等が可能なAppを作ることもできます。このセッションの前に、Create MLに親しんでおくことをお勧めします。概要については、"Introducing the Create ML app"を参照してください。また、Action ClassificationとセンサーベースActivity Classificationの違いについて詳しくは、"Building Activity Classification Models in Create ML"も参照してください。Action Classification機能を可能にする優れたテクノロジーについて詳しく知るには、"Detect Body and Hand Pose with Vision"をチェックしてください。また、この分類機能を他のテクノロジーと組み合わせて、独自のサンプルAppを作成する方法については、"Explore the Action & Vision App"を参照してください。

リソース
関連ビデオ

WWDC22
- Create ML Componentsで高度なモデルを作成する
WWDC21
- Create MLによる手のポーズや動作の識別
WWDC20
WWDC19
- Create ML Appの紹介
ダウンロード

こんにちは　WWDCにようこそ “Create MLを使用したアクション分類子の作成” Create MLチームのエンジニアユシンです今日は同僚のアレックスと新しいテンプレートをご紹介しますそれはCreate MLのアクション分類です昨年はアクティビティ分類を導入しモーションデータを使った分類器が作成できるようになりましたただ動画のアクションを分類したい場合はどうすればよいでしょう今日カメラは広く普及しスマートフォンで簡単に動画を撮れるようになりましたジムでも自宅でもセルフガイドのエクササイズで気軽に気分転換できます
他にも例えば体操を見ると人間の体がいかに複雑に動くかが分かりますこれらの動作を自動的に認識できれば選手の練習や競技に役立つでしょう
今年は人体のポーズを学習するアクション分類を開発しましたこのかっこいいダンスの振りを見てくださいこの動きを認識しさらにそれを基に娯楽用のAppが作れたらきっと面白いでしょうではアクション分類とは何でしょうか第一にこれは標準的な分類タスクであり定義済みのクラスのリストからアクションのラベルを割り当てるのが目的です
今年のモデルはVisionの人体ポーズ推定機能を搭載していますそのため人体のアクションには最適ですが動物や物体の動きには向いていません
一定時間のアクションを認識するには１枚の画像では不十分です代わりに一連のフレームで構成された時間枠で予測が行われます
カメラや動画ストリーミングに対してウィンドウごとに継続して予測を行います
Visionのポーズに関する詳細は “Body and Hand Pose Estimation”をご覧くださいでは Create MLでその仕組みを見てみましょう
仮にある人物のエクササイズの動きを認識するフィットネス分類器を作るとします挙手ジャンプ屈伸スクワットなどですまず各クラスの動画クリップを用意し― Create MLを立ち上げて訓練します最後にフィットネス分類器モデルを保存しフィットネスエクササイズAppを作ります
段階ごとに説明しましょうまずは同僚のアレックスがデータとアクション分類の訓練について話します
ありがとうユシン今はジムに行けませんが自分のエクササイズ状況を見てくれるAppがあれば健康が維持できそうです私はCreate MLチームのエンジニアアレックスです今日はアクション動画をキャプチャし Create ML Appで新たなアクション分類器モデルを訓練する方法を紹介しますまずは動画のアクションをキャプチャしましょう人がいつどんな運動をしているかを認識できるモデルにするためあらゆるエクササイズの動画を集めます挙手ジャンプスクワットなど５種類です各動画につきアクション１種１人の人物だけを収めます撮影後動画の冒頭や末尾に余分な動きが入っていたらフォトAppでトリミングしましょう
全身を使ってアクションを特定するので必ずカメラに腕と脚の動き全体が収まるようにします少し離れて撮るといいですね
では各アクションを格納するフォルダを作りますアクションをモデルが予測できるようなフォルダ名にしましょう
休憩ストレッチ座るといった動作のサンプルが集まったら “その他”のフォルダにまとめましょう
以上で訓練の準備は完了ですがここで少し別の種類のデータがあった場合も考えます他人が撮った動画やインターネットからダウンロードした動画であれば― 合成をしましょう合成をすれば複数のアクションを１本の動画に収められますタイトルや状況設定休憩を映しただけのショットも入れられます
この動画を通して見るとアクションのない部分と訓練用のアクションが混在しています選択肢は２つです動画編集ソフトで動画をトリミングまたは分割して必要なアクションのみに絞り先ほどのようなフォルダに分類する方法かアクションの始まる時点で停止し CSVやJSONフォーマットの注釈ファイルに記録する方法ですこれはその一例です
詳しくは developer.apple.comの Create MLドキュメントをご覧ください
合成については以上です既に用意したエクササイズ動画の説明を続けます
Mac上で Create ML Appを立ち上げます
Mac OS Big Surであれば新テンプレートアクション分類が入っています
エクササイズモデル用にアクション分類のプロジェクトを作成しましょう
適切な名前を付けます
後で分かりやすいよう説明も加えましょう
新規アクション分類プロジェクトはモデルソース設定ページで開きますここで訓練の準備をしますキャプチャしたデータを追加し訓練のプロセスについての設定をするのです作成した動画フォルダを訓練データソースにドラッグします今からやってみます
すべての動画を“訓練”フォルダに集めました中には訓練したいアクションの名前のサブフォルダが入っています
“ジャンプ”のフォルダの中には挙手ジャンプの動画がそろっています
“訓練”フォルダも訓練データにドラッグします
Create ML Appはデータを正しいフォーマットで確認し結果を表示します “７つのクラスを記録した”と出ています５つのエクササイズに加え陰性クラス“その他”と“なし”です
また 362本の動画が記録されていることも分かりますデータソースビューで詳細を見てみましょう
このとおりアクションごとに約50本の動画があります
プロジェクトを構築する時はこれくらいの本数を目指してください
データ入力の下でパラメータを設定できますここでは“アクション継続期間”と “拡張”について説明します “アクション継続期間”は認識したいアクションの長さですダンスの振りのような複雑なアクションの場合動作全体をキャプチャするのに十分な長さが必要です今回は10秒程度でしょうか
ただし今回のように短いアクションを繰り返す場合はウィンドウを約２秒に設定します
アクションの長さは予測ウィンドウとも呼ばれフレーム単位で区切られます Create MLはフレームレートとアクションの長さを基にフレーム数が60であると自動的に算出します
“拡張”は訓練データを膨らませます追加で撮影に行かなくても既存の動画を現実世界のシナリオに従って変形してくれるのです左を向いた人の動画しかなくても “水平反転”で左右逆の動画を生成しモデルが両方向で機能するようにできます有効にしてみましょう
他にもデータが追加できるボックスが２つありますねこれは“検証”と“テスト”ですモデルのテスト用に別のデータがあればここでテストデータに追加できます Create MLはモデルの訓練が終了すると自動的にテストを実行します
機械学習のベテランは独自の検証データを使っているかもしれませんが Create MLはあなたの訓練データをテストに使うよう初期設定されています
“訓練”ボタンをクリックしモデルの作成を始めます
Macが動画を使ってアクション分類器を訓練するには２つの手順がありますまず特徴抽出を行います動画を基に人間のポーズを計算するのです完了するとモデルを訓練できます
特徴抽出は大きなタスクで時間がかかるのでさらに詳しく説明します
Vision APIの機能を使い動画の全フレームを見て手脚腰目など身体上の18ヵ所の目印の位置をコード化します各目印のx座標とy座標に加え信頼性スコアを記録しますこれらが訓練に利用する特徴を形成します
戻ってその状況を確認しましょう
特徴抽出には30分ほどかかります時間がないのでこの訓練プロセスを停止し前に作成したモデルのプロジェクトを開きます
このモデルは先ほどと同じデータを使って訓練済みですさらに検証データも追加しました
訓練タブと評価タブでは最終レポートが見られます
モデルのパフォーマンスの経時的変化が確認できます 80回の反復は妥当な選択だったようですラインが右肩上がりの後に平らになっているので訓練が安定した状態に達したと分かります
評価タブではクラス別のパフォーマンスが分かるので各アクションが均等に十分な成果を上げているかを確認できますデータの検証やテストの結果はこちらに表示されます
しかし何よりもモデルの動作を見たいですプレビュータブでは訓練に使っていない動画でモデルを試せますこれは昨日庭で撮った動画です
動画を処理してポーズを特定しモデルがそれをアクションに分類します今は動画全体を事前に分類していますがご自身でAppを作成する際はストリーミングも選択できますライブ動画を使う場合や応答性がほしい場合に便利です “再生”ボタンを押し検出結果を見ましょう動画上のラベルを見てください動画のアクションの展開に伴い分類の変化を確認できます
もう一度再生します
動画上にポーズの骨組みが表示されていますが非表示にもできます
ポーズの骨組みだけを黒色を背景に見ることもできます
動画の下にタイムラインがあります先ほど設定したとおり動画が２秒のウィンドウに分割されています下の各ウィンドウには最適な予測と確率の低いその他の予測が表示されます
このモデルを使ってAppを作るにはプロジェクトからモデルをエクスポートしますアウトプットタブを使えば可能ですアウトプットタブにはサイズなどモデルの概要が示されていますサイズはモバイルAppのアセットとして検討すべき重要事項ですこのモデルのオペレーティングシステムのバージョンも確認できます
アイコンをファインダにドラッグしてモデルを保存しましょう
FitnessClassifier.MLmodelと名前を付けます
これをユシンとシェアしすごいiOS Appの作り方を教えてもらいましょうアレックスからフィットネスエクササイズAppを動かす分類器が届きましたまずモデルを使って予測をする方法を見てみましょう例えばカメラまたは動画ファイルから挙手ジャンプを認識したいとします
しかしモデルはポーズを動画というよりも入力として認識していますポーズの抽出には Vision APIの VNDetectHumanBodyPoseRequest関数を使います
動画URLを利用する場合は VNVideoProcessorで動画全体のポーズのリクエストを処理できます全フレームのポーズ結果は完了ハンドラで取得できます
代わりにカメラストリームを使う場合は VNImageRequestHandlerを使えば― キャプチャした各画像に対し同様のポーズをリクエストできます
各フレームからポーズを取得したらそれを３次元配列の予測ウィンドウにモデル入力として集約しなければなりません
ややこしそうですが　Visionの便利な keypointsMultiArray APIを使えば細かい対処の必要はありませんフィットネスモデルのウィンドウサイズは60です 60フレームのポーズを連結するだけで１つの予測ウィンドウを作成できます
ウィンドウを準備したら入力としてモデルに渡します最終的にモデル出力結果には上位予測のアクション名と信頼性スコアが含まれています
では Xcodeで手順を追っていきましょう
これがフィットネスAppです開きます
これがトレーニングしたフィットネス分類器ですメタデータページには利用者とモデル情報が表示されます例えば作成者や説明クラスラベル名の他にもレイヤ分布などが表示されます
予測ページにはモデルの入力や出力情報の詳細が表示されます例えば必要な入力多次元配列や出力の名前と種類などです
他のAppロジックは省略してモデル予測を進めましょう
私の予測子でフィットネス分類器モデルと Vision身体ポーズリクエストをまずは初期化しますこの操作は１回だけです
モデルは予測ウィンドウを入力と捉えるのでウィンドウバッファも維持して過去２秒間の末尾の60ポーズを保存します 60とはトレーニングに使ったモデルの予測ウィンドウのサイズです
カメラからフレームを受け取ったらポーズを抽出する必要があります
ここにはVision APIの呼び出しとスライドで見たポーズのリクエストの実行が含まれていますウィンドウに抽出したポーズを追加する前に
アクション分類器が対象とするのは１人だけと覚えておきますつまり Visionが複数人を検出した場合は人を選出するロジックの実装が必要ですこのAppでサイズに基づいて最も突出した人を選ぶだけです他の方法で選ぶことも可能ですではウィンドウにポーズを追加しましょう
ウィンドウが埋まったら予測を開始できますこのAppは0.5秒ごとに予測を行いますが使用目的によって間隔やトリガーを設定したりすることもできます
ではモデル予測を行いましょう
モデル入力を用意するためウィンドウの各ポーズを多次元配列に変換する必要があります Visionの便利なAPIや keypointsMultiArrayを使います人物が検出されない場合はゼロを当てるだけです
そしてこの多次元配列のうち60点を単一の配列に連結したのがモデル入力です
最終的にはわずか１行のコードで予測を実行できます
出力に含まれるのは上位予測のラベル名とすべてのクラスのディクショナリの信頼性スコアです最後にポーズウィンドウのリセットをお忘れなく再び埋まった時にすぐに次の予測を作れるようにするためです
アクション分類器を使った予測作成の手順は以上です実際にこのAppを使って機能を確認しましょう
体力が有り余っているのでエクササイズをしようと思います
Appを開いて―
開始ボタンでエクササイズを始めます
すべての入力フレームから私のポーズが抽出され継続的に予測モデルを作成します Appの一番下に表示されていますこれはデバッグビューの信頼性スコアとラベルですでは始めますよ
５秒間チャレンジを終えました見てのとおりですモデルがアクションを認識した時点でタイマーが起動します運動をやめると私のアクションをその他のアクションクラスと判断します次に下半身のエクササイズを行います始めます
エクササイズは終了ですが急いでないので休憩して水を飲むことにします
すべてインタラクティブに起動するのでデバイスを操作するために戻る必要はありません自宅でのエクササイズにとても便利です
最後にスクワットをします
３つのチャレンジをすべて終えましたここに時間のレポートが出ています今日はたくさん運動をしました
予測を行う際のアクション分類器のトレーニングについて説明しましたアレックスのベストプラクティスでこのセッションをまとめますありがとうこのAppはエクササイズの開始を待つのがいいですねエクササイズで手足の動きを覚えるには時間がかかります優れた機能の構築には優れたデータが必要ですアスリートや子どもたちから最高のパフォーマンスを引き出し動画に命を吹き込みます
繰り返し様々な素材に触れてモデルは学習します
先ほど分類したいエクササイズごとに約50本の動画があることを確認しましたが皆さんのAppにもお勧めします
必ず様々な人でトレーニングしてくださいモデルはそれらのスタイルや能力速さを認識する必要があります
ユーザの動きが激しい場合は正面と同じく側面と背面からアクションをキャプチャしてください
エクササイズをしていない時や静止している時も認識する必要がありますフォルダを２つ作ります１つは歩行とストレッチ用でもう１つは座ってたり動かない時用です
アクション分類器に優れた動画をキャプチャする方法を考えましょう
撮影者の動きも被写体の動きとして解釈される可能性があります三脚を使うなどしてカメラを安定させましょう
ポーズ検出器で体の輪郭をはっきり見せる必要があります背景と区別のつきにくい服装ではうまくいきません大きすぎる服だと動きが隠れて検出できません
これでアクション分類器に最適な動画を撮る方法が分かりました Create MLでトレーニングを最大限に活用する方法を教えて？
いいわよアレックスデータを集めたらトレーニングパラメータを設定してください重要なパラメータはアクション期間の秒数― または時間枠内のフレーム数である予測ウィンドウサイズですこの長さは動画のアクションと合致していなければなりませんすべてのアクションをほぼ同じ長さにしてください
動画のフレームレートは予測ウィンドウの有効な長さに影響しますトレーニング動画とテスト動画の間で平均フレームレートを一定に保つことが正確な結果を得るには重要です
アプリケーションでモデルを使う時は必ず１人だけを選択してください複数人を検出した時は１人だけ撮るように促すのもいいでしょうまたは独自の選択ロジックを実装して人物のサイズやフレーム内の位置をもとに１人を選ばせることもできますこれはポーズの目印の座標を使えば実装可能です
アクションの反復を数えたいならトレーニング動画の準備に必要なのは１つのアクションを１回行うだけですそしてAppで予測を行う際に正しいタイミングで予測を開始する確実なトリガーを見極めましょうまたはカウンターを適切に更新するための平滑化ロジックを実装します
最終的にアクション分類器でアクションの回数の評価や判断ができます例えば Appで予測の信頼性スコアの値を使いますトレーニング動画のサンプルアクションと比較してアクションの品質を評価できます
これがCreate MLのアクション分類器ですこの機能を活用したすばらしいAppの誕生が楽しみですありがとうございました引き続き WWDCをお楽しみください

[ 
    {
        "file_name": "Montage1.mov",
        "label": "Squats",
        "start_time": 4.5,
        "end_time": 8
    }
]

14:05 - Getting poses

import Vision
let request = VNDetectHumanBodyPoseRequest()

14:10 - Getting poses from a video

import Vision
let videoURL = URL(fileURLWithPath: "your-video-file.MOV")
let startTime = CMTime.zero
let endTime = CMTime.indefinite

let request = VNDetectHumanBodyPoseRequest(completionHandler: { request, error in
    let poses = request.results as! [VNRecognizedPointsObservation]
})

let processor = VNVideoProcessor(url: videoURL)
try processor.add(request)
try processor.analyze(with: CMTimeRange(start: startTime, end: endTime))

14:26 - Getting poses from an image

import Vision
let request = VNDetectHumanBodyPoseRequest()
// Use either one from image URL, CVPixelBuffer, CMSampleBuffer, CGImage, CIImage, etc. in image request handler, based on the context.
let handler = VNImageRequestHandler(url: URL(fileURLWithPath: "your-image.jpg"))

try handler.perform([request])
let poses = request.results as! [VNRecognizedPointsObservation]

14:57 - Making a prediction

import Vision
import CoreML

// Assume pose1, pose2, ..., have been obtained from a video file or camera stream.
let pose1: VNRecognizedPointsObservation
let pose2: VNRecognizedPointsObservation
// ...

// Get a [1, 3, 18] dimension multi-array for each frame
let poseArray1 = try pose1.keypointsMultiArray()
let poseArray2 = try pose2.keypointsMultiArray()
// ...

// Get a [60, 3, 18] dimension prediction window from 60 frames
let modelInput = MLMultiArray(concatenating: [poseArray1, poseArray2], axis: 0, dataType: .float)

16:27 - Demo: Building the app in Xcode

import Foundation
import CoreML
import Vision

@available(iOS 14.0, *)
class Predictor {
    /// Fitness classifier model.
    let fitnessClassifier = FitnessClassifier()

    /// Vision body pose request.
    let humanBodyPoseRequest = VNDetectHumanBodyPoseRequest()

    /// A rotation window to save the last 60 poses from past 2 seconds.
    var posesWindow: [VNRecognizedPointsObservation?] = []
    init() {
        posesWindow.reserveCapacity(predictionWindowSize)
    }

    /// Extracts poses from a frame.
    func processFrame(_ samplebuffer: CMSampleBuffer) throws -> [VNRecognizedPointsObservation] {
        // Perform Vision body pose request
        let framePoses = extractPoses(from: samplebuffer)

        // Select the most promiment person.
        let pose = try selectMostProminentPerson(from: framePoses)

        // Add the pose to window
        posesWindow.append(pose)

        return framePoses
    }

    // Make a prediction when window is full, periodically
    var isReadyToMakePrediction: Bool {
        posesWindow.count == predictionWindowSize
    }

    /// Make a model prediction on a window.
    func makePrediction() throws -> PredictionOutput {
        // Prepare model input: convert each pose to a multi-array, and concatenate multi-arrays.
        let poseMultiArrays: [MLMultiArray] = try posesWindow.map { person in
            guard let person = person else {
                // Pad 0s when no person detected.
                return zeroPaddedMultiArray()
            }
            return try person.keypointsMultiArray()
        }

        let modelInput = MLMultiArray(concatenating: poseMultiArrays, axis: 0, dataType: .float)

        // Perform prediction
        let predictions = try fitnessClassifier.prediction(poses: modelInput)

        // Reset poses window
        posesWindow.removeFirst(predictionInterval)

        return (
            label: predictions.label,
            confidence: predictions.labelProbabilities[predictions.label]!
        )
    }
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC22

WWDC21

WWDC20

WWDC19