SoundAnalysisのビルトイン音声識別

SoundAnalysisのビルトイン音声識別

Sound AnalysisフレームワークをAppで使用すると、マイクからのライブサウンド、ビデオやオーディオファイルなど、あらゆるオーディオソースからの個別の音を検出・識別し、その音が発生した瞬間を正確に特定できます。ビルトインの音声識別機能を使えば、カスタムのトレーニングモデルがなくても、300種類以上の音を簡単に識別できます。人の声、楽器の音、動物の声、様々なアイテムの音など、いろいろな音を識別できます。カスタムモデルについては、Audio Feature Print機能抽出ツールを活用して、Appの目的に合わせてサウンドウィンドウの制御を変更できる小さなモデルを作成する方法をご確認ください。音声識別とSound Analysisフレームワークについては、WWDC19の「Create MLで音声識別モデルをトレーニングする」をご確認ください。

リソース
関連ビデオ

WWDC22
- Create ML Componentsで高度なモデルを作成する
WWDC21
- ShazamKitの詳細
- Tuesday@WWDC21
WWDC19
- Create MLで音声識別モデルをトレーニングする
ダウンロード

♪ ♪ こんにちは WWDCの音声分析セッションへようこそ私ジョン・ホアンは ―オーディオチームの研究者です私とケビンが紹介するのは ―Sound Analysisフレームワークと ―Create MLによって利用可能となった ―音声分類の向上についてです 2019年に Create MLを使用した ―音声分類モデルのトレーニングが可能になりました音声分類モデルの作成と Appleデバイスへの配信が ―容易にできることを紹介しましたこのフレームワークを使えば ―ハードウェアアクセラレーション用に ―全ての処理が最適化され ―デバイス上でローカルに実行されます音声をクラウドに送らないので ―ユーザーのプライバシーは保護されます今回私たちはSound Analysis フレームワークを活用し ―サウンド認識というアクセサビリティ機能をOSに導入しましたこの機能はアラームや動物家庭の音など ―周囲から特定の音が ―検出されたときに ―ユーザーに通知しますこれは音声分類の活用法の一端に過ぎません他に何ができるかみてみましょうこのデモAppは Macの内蔵マイクを使って ―環境音を聞いています音声は音声分類器を経由して ―UIに分類結果が ―表示されます今私の話し声も検出されていますさて何が起きるのか少しくつろいで ―待ちましょうか音楽をかけますねクルンとマンブルの「Catch a Vibe」をかけてクルンとマンブルの「Catch a Vibe」を流します ♪ ♪ ♪ ああ、ああ、ああ♪ 分類器が楽器と歌声の ―両方を検出しています [] ♪あなたほどしっくりくる♪ ♪人なんていない ♪ ♪ ピンときたの　私たち ♪ ♪ 最高に気が合うって ♪ お茶にしましょう ♪ 大丈夫よベイビー ♪ ♪ 私たちは一緒がいいって ♪ ♪ 確かめあったでしょう ♪ ♪ あなたの笑顔には何かが宿っているの ♪ ♪息を潜めてねえ♪ ♪ お互いを感じ合いましょう ♪ ♪ 私たちだけのバイブスを ♪ ♪ 大丈夫よベイビー私たち ♪ ♪ 一緒がいいって ♪ ♪ 言ったでしょ ♪ ♪あなたの目に映るアートは ♪ ♪ 私の一部なの ♪ ♪ 私を誇りに思って ♪ 美味しい ♪ あなたは私の全てなの ♪ ♪ 理解だってしてるわ ♪ ♪ どうしてこうなってしまったの ♪ ♪ どうして ♪ Hey Siri 止めて音のカテゴリーごとに ―音声データを集めて Create MLを使用して ―カスタムモデルをトレーニングしたはずですねええ今まではそうしてきましたでも実は分類器はOSにビルトインされていたんです今年新たに音声分類器を ―Sound Analysisフレームワークに搭載しましたあなたのAppで音を分類することが ―さらに容易になったのです全てのプラットフォームをサポートします
内蔵の分類器は全て開発者の体験を ―簡素化するためものです大量のデータ収集や分類の ―手間もかかりませんし ―機械学習や音声に関する専門知識も ―高精度のモデルを ―開発するための大きな処理能力もいりませんこれらを心配しなくて済むので ―Appのユーザーエクスペリエンスを ―向上させることに集中できますたった数行のコードで ―音声分類が可能になります分類器に何ができるかお見せしますここに300以上のカテゴリーがあります詳しく見ていくと ―動物の音ペット家畜 ―野生動物に分類できます
音楽の場合多くの楽器が識別できます鍵盤楽器打楽器 ―弦楽器管楽器も区別します人が出す様々な音も判別可能です群衆が出す音や ―呼吸音発声音などあります
さらに乗り物やアラーム ―道具水の音なども ―区別しますこれらのカテゴリーはすぐに利用可能です　ぜひお試しを音声分類器の使い方の説明は ―ケビンに任せますありがとうジョン私ケビンは ―オーディオチームのソフトウェアエンジニアです新搭載の音声分類器の ―使い方を私が開発した ―アプリケーションを参照しながらお見せします分類器が機能する様子を ―ジョンがカウベルを使って紹介しようとしたのですが ―デモで失敗して以来 ―別のアイディアを閃きました私のMacにはこのセッションの準備中に ―集めたメディアが複数入っていますその中にカウベルの音を含む ―映像が間違いなくありますぜひお見せしたいのですが ―まずは見つけないといけません ―つまりファイルを探しだす必要がありますそしてカウベルの場面を ―見つけるために中を見ないといけないはずさあどうやるでしょう内蔵の音声分類器を使って ―ファイルを読み取り ―特定の音が入っているかどうかを ―教えてくれる簡単なプログラムを書きます音が見つかれば ―プログラムが分類器を使用し ―音がいつ発生したか教えてくれます
そしてmacOSで利用できる ―ショートカットを使って ―多くのファイルを対象に ―私のプログラムを実行するワークフローが作成できますプログラムが音を発見すると ―ワークフローは自動的に ―検出結果の発音時間を使って ―その音を含む動画クリップを抜粋できますカウベルの場面を見つけるのに最適でしょう
やってみましょう
動画がたくさん入ったフォルダを用意しました
全てのファイルを選択して ―クイックアクションメニューでショートカットを実行
選択肢から見つけたい音を選びます今回はカウベルですね
するとショートカットが実行され ―わずかな時間で ―探していた音を発見し ―Finderウィンドウに表示されます開いてみましょうカッコいいよジョン使用したショートカットを詳しく見てみましょう
ショートカットを起動すると ―認識できる全ての音の ―リストを収集して ―１つ選ぶように指示します選択した音を使って Finderで選択した ―全てのファイルにアクセスし ―その中から音を探します目当ての音を発見すると ―音が発生する数秒間を ―動画から抜粋して ―出来上がったクリップが表示されますこのうち２つのステップで ―内蔵の分類器が活躍しますショートカットから必要に応じて利用するため ―この２つのステップを ―カスタムアプリケーションに実装しました
ショートカットについて詳しくは述べませんが ―詳細を知りたい方は ―WWDCセッションの ―”macOSのショートカット” を参照してください
では App内の２つの ―カスタムアクションの実装を紹介します最初のアクションでは Appが認識できる ―全ての音の種類を取得します内蔵の分類器を使用すると ―数百種類の音が認識できますこれは音のリストを取得するために書いた関数です新しいイニシャライザで ―SNClassifySoundRequestを作成し ―内蔵の分類器を選択可能にしますこのリクエストを使って ―分類器が保持している音リストに ―クエリできます２つ目のアクションではファイル内で音が ―いつ発生したかをショートカットに伝えますこれを実現するために音声分類を実装し ―音が検出された場合 ―最初に検出された時間を報告します音声分類を実行するために ―必要なものが３つあります１つ目は SNClassifySoundRequestで音声分類器を設定するために使用します２つ目は SNAudioFileAnalyzerです対象とするファイルを指定し ―分類できるようになります３つ目は ―少し注意が必要です分類結果を処理する専用のオブザーバータイプを ―定義する必要がありますオブザーバーについてはいったん置いておいてこれは最初の２つの準備用コードです
SNClassifySoundRequestで ―内蔵のモデルを使った分類器を作成します SNAudioFileAnalyzerは ―分類したいファイルの URLを指定して作成しますこの時点でオブザーバーが準備できていたら ―音声分類は簡単に始められますが ―オブザーバーが欠けている ―前提で進めましょうここにNSObjectから継承し ―SNResultsObserving プロトコルに準拠した ―未完成のオブザーバーがあります探したい音声ラベルで ―インスタンスを初期化し ―音を検出した時間を格納するために ―CMTimeメンバ変数を加えます ―あとは request: didProduce result メソッドを ―実装するだけですこのメソッドは音声分類のリザルトが生成された時に ―呼び出されるため ―SNClassificationResultの ―インスタンスを受け取りますまた result の classificationForIdentifier メソッドを使って ―探しているラベルに関する ―情報を抽出することができますラベルの信頼度スコア conference が ―しきい値を超えると ―その音が検出されたとみなします初めて検出したときに ―音が発生した時間を保存しておけば ―後でショートカットに提供できます
これで私のオブザーバーは完成ですファイル内で音の発生を ―判定するための材料は全て揃いましたこの例ではさらに議論したい ―２つの重要なトピックに触れていますまずは検出時間について ―それから検出しきい値ついてお話します
検出時間について始めましょう音声を分類したとき ―音声信号は重なり合うウィンドウに分割されますそれぞれのウィンドウ毎に ―検出された音の種類と ―信頼度を持った ―リザルトが得られます ―また音声のどの部分が ―分類されたかを示す ―時間の範囲も得られます私のアプリでは音を検出すると ―音の発生時間を判別するために ―リザルトの時間の範囲を利用しますしかしウィンドウの長さが変わると ―時間範囲に影響することもありますウィンドウの長さを ―大小変化させることで ―目的に応じてカスタマイズしましょう
短いウィンドウはドラム音のような短い音に ―有効ですその音の重要な特徴を ―短時間で全て捉えることが ―できるからです短かくても重要な特徴が ―抜けることはありません短いウィンドウ期間は ―音の発生時間をより正確に ―捉えられるメリットがあります
しかし短いウィンドウ期間は ―長い音には適しません例えばサイレンは ―音の立ち上がりと立ち下がりの両方を ―長い時間をかけて表現しますこれらの音程を１つのウィンドウに ―まとめて取り込むことで ―分類器が正確に音を検出できます関心のある音の重要な要素を全て捉えるのに ―十分な長さのウィンドウ期間を ―使用しましょうウィンドウ期間を変更したい場合 ― SNClassifySoundRequest の ― windowDuration プロパティを設定しますただし全ての ―ウィンド期間に対応するわけではありません
―分類器によって使用できるウィンドウ期間が ―異なることがあります SNClassifySoundRequest の ― windowDurationConstraint プロパティを参照すると ―サポートするウィンドウ期間が確認できます内蔵の分類器は 1/2秒から15秒までの ―ウィンドウ期間を使用できます Appに分類器を導入する際 ―１秒以上の期間を設定すると ―良いスタートが切れるでしょう
次は信頼度のしきい値についてお話しします私のAppでは音声分類の信頼度が ―一定のしきい値を超えると ―その音が検出されると考えます ―私はしきい値に0.5という数値を選びましたしかししきい値を選択する際に ―考慮すべきことがあります分類器は同時に複数の音を ―検出することができます ―このとき信頼度の高い分類が ―複数あることに気づくでしょう
Create MLで訓練したカスタムモデルを ―使用した場合と異なり分類スコアの合計は足しても ―１にはなりません信頼度は独立したものであり ―互いに比較すべきではありません
信頼度のスコアは独立しているので ―音によって異なる信頼度のしきい値を ―選択すると良いでしょう ―しきい値の選択はトレードオフが発生します信頼度のしきい値が高い場合 ―音が誤検出される確率は低くなりますが ―一方で検出されても ―強さが十分でないものだと ―見逃す可能性が高くなりますしきい値を設定するときは ―使用事例に応じて ―バランスが取れた値を見つける必要がありますなおカスタムウィンドウ期間を設定すると ―信頼度のスコアが変化する場合があり ―しきい値にも影響します内蔵の分類器を使用するときの ―最後の注意点は ―似ている音が存在するという点です分類器が識別できるたくさんの音の中には ―音だけでは ―人間ですら区別の難しい ―音のグループがあります可能な限り聞き取る音の種類を ―絞るのがベストです Appを使用する場所で ―発生しそうな音だけに ―注目するようにしますここで音声分類に関する ―Create MLの新機能について ―ジョンに話してもらいますケビン素晴らしい例をありがとうカウベルのビデオはいかがでしたかでは Create MLの新機能 ―具体的には ―内蔵の分類器の力を使って ―カスタムモデルを改善する方法を紹介します内蔵の分類器は多岐に渡るカテゴリーの ―膨大なデータによってトレーニングされていますつまりモデルは既に音声分類について ―多くの知識を含んでいますこれらの知識は Create MLを使った ―カスタムモデルの学習に活用できます ―その様子をお見せします音声分類器は２つの異なる ―ネットワークに分かれます１つ目は特徴抽出器で２つ目は分類器モデルです特徴抽出器は ―埋め込みモデルと呼ばれることもあり ―ネットワークの要です特徴抽出器はオーディオの波形を ―低次元の空間に変換できます良くトレーニングされた特徴抽出器は ―音響的に類似した音を ―空間内の近い場所にまとめます
例えば ―ギターの色々な音はまとまりますが ―ドラムや車の音は遠い場所に配置されます
パイプラインの２つ目は ―分類器モデルです分類器モデルは特徴抽出器の出力を受けて ―クラス確率を計算しますこの分類器は ―内蔵の音声分類器に含まれるような ―優れた特徴抽出器とペアになるとより効果的です
今回内蔵の分類器に含まれる特徴抽出器を ―Appからも利用できるようにしましたこれは Audio Feature Print と呼ばれ ―カスタムモデルを Create MLで学習させると ―そのモデルが Audio Feature Print とペアになりますこれであなたのモデルは ―内蔵の分類器が持つ全ての知識を利用できます旧世代の特徴抽出器と比較すると ―Audio Feature Print は全面的に改善されていますネットワークがより小型化高速化したにも関わらず ―比較した全ての ―ベンチマークデータセットで高い精度を達成しています内蔵の分類器のように ―Audio Feature Print を使用したモデルは ―ウィンドウ期間に柔軟に対応しますサイレン音などに最適な ―長いウィンドウ期間も ―ドラム音などに適した短い期間も選択できます Audio Feature Print は Create MLを使って ―カスタムモデルをトレーニングするデフォルトの特徴抽出器です
学習時ウィンドウ期間は ―１つの特徴を生成するために使用する音声の長さです初期設定では３秒ですが ―ニーズに合わせて調整可能です Create MLでは ―1/2秒から15秒の間で長さを選択できますカスタムモデルのトレーニングに関する詳細は ―2019年のセッションから ―”Create MLを使った音声分類モデルの ―トレーニング法”をご覧くださいカスタムモデルで推論を実行するための Audio Analysis フレームワークの ―使用法も紹介しています音声分析のセッションへの ―ご参加に感謝します OSに内蔵した強力な新しい音声分類器を ―紹介しましたそれに伴い ―Create MLの特徴抽出器もアップグレードしましたこれらが新しい可能性を引き出し ―あなたのAppでどのように活用されるのか楽しみです引き続きWWDCをお楽しみください [音楽]

func getListOfRecognizedSounds() throws -> [String] {
    let request = try SNClassifySoundRequest(classifierIdentifier: .version1)
    return request.knownClassifications
}

9:19 - Create sound classification request

let request = try SNClassifySoundRequest(classifierIdentifier: .version1)

let analyzer = try SNAudioFileAnalyzer(url: url)

var observer: SNResultsObserving // TODO

try analyzer.add(request, withObserver: observer)
analyzer.analyze()

9:52 - Implement sound classification observer

class FirstDetectionObserver: NSObject, SNResultsObserving {
    var firstDetectionTime = CMTime.invalid
    var label: String
    
    init(label: String) {
        self.label = label
    }
    
    func request(_ request: SNRequest, didProduce result: SNResult) {
        if let result = result as? SNClassificationResult,
           let classification = result.classification(forIdentifier: label),
           classification.confidence > 0.5,
           firstDetectionTime == CMTime.invalid {
                firstDetectionTime = result.timeRange.start
        }
    }
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC22

WWDC21

WWDC19