高品質なSiriメディアインタラクションをデザインする

Siri体験を音楽、音声Appに向けデザインする技術的な手順、その謎を解き明かします。優れたインタラクションを作ること、Siriがさらに高い正確性と個性をもって応答できるようにカスタムボキャブラリーを提供する方法をお伝えします。よくあるエラーをデバッグし、AppleのSiriチームも使っているのと同じ方法でインテントをテストする方法もお見せします。

リソース

- HDビデオ
- SDビデオ

関連ビデオ

WWDC20

Tech Talks

SiriKit Media IntentsをHomePodに統合する

WWDC19

SiriKit Media Intentの紹介

ダウンロード

ようこそ　WWDCへ “高品質なSiriメディアインタラクションをデザインする” ダニー･マンデルです今日お話しするのは SiriKit Mediaアプリケーションで最高品質のSiri体験を実現する方法です質を重視する理由は？楽しんで使えるものをビルドしたくても― 声の質が悪くては誰も楽しめません音声アシスタンスに求められる信頼性は従来のユーザーインターフェイスより高いのです使ってもらうには信頼性の向上が必要ですので SiriKit Mediaサポートの質を上げましょう

当たり前のことですが “再生して”と言われたら実行することが大事です

あなたのアプリケーションを誰かが初めて声で使った時に再生しなければ二度と使わないでしょうだから安定したplayback stackに Siriのエンジニアリソースを使いましょう

次はすぐに再生できるか確認しましょう SiriKit Mediaアプリケーションで重大な不具合の１つはタイムアウトです特にCarPlayのような環境ではすぐに再生することが重要運転中ハンズフリーで使っている時すぐに再生を始めないアプリケーションはまったく役に立ちませんこれに対処すべく今年は新たなオプションを追加しました詳細は― “Expand your SiriKit Media Intents to More Platforms”でご確認ください

次はSiriにリスナーの好みを理解させることですこれには Siriのuser vocabulary APIを採用します Siriにアプリケーションのカタログを理解させるには Siriのglobal vocabulary APIを採用しますこれらについては後で深く掘り下げます

最適な曲を選んで再生する時複数の言い方に対応したいものです対応する発言の数が多いほどユーザは日常でもっと使いたいと思うでしょう Siriは知的アシスタントになることが期待されていますこれを実現するには多種多様な自然言語に対応すべきなのです SiriKit Mediaアプリケーションでよく使われる自然言語パターンを見てみましょう “完璧っぽく”とは？要求が不明確な時答えに限りなく近い対応をするという意味 SiriKit Mediaの要求の半分以上はこのパターンです “アプリケーションを再生して”や “アプリケーションで曲を再生して”など一般的にユーザは欲しいものを具体的に言わないことが多いこれが最も重要なユースケースですこのシナリオに対処すれば多くのリスナーに即座に対応できます “完璧っぽい”の定義は開発者が決められますがユーザに驚きと喜びを与えるようにしましょうこのような要求を認識するには音楽のmedia typeを含むnil media search またはmedia searchを行います次のユースケースではユーザが再生したいタイトルを指定しますが曲アルバムアーティスト Podcastのうちどのmedia typeかは言いませんこれには異なるmedia typeを把握し広範囲の検索を行う必要があります

この種の要求を認識するには media search objectに入っている mediaNameが頼りですこのようなクエリーは約30％ありますより正確なクエリーではアーティストと他の検索フィールドを組み合わせますこのような複合検索にも対応しましょうこのケースでは mediaNameにタイトルが入り artistNameに求めるアーティスト名が入りますクエリーのタイプがより詳細になれば使用率が下がりすべての要求の約５％になりますプレイリストも頻繁に使われるカテゴリーなので対応しましょう具体的なクエリーの１つで約５％の割合で使われていますプレイリストのクエリーが発生したら mediaNameプロパティにプレイリストのクエリーを置き mediaTypeプロパティを “プレイリスト”に設定します INMediaSearchには他にも多くの検索フィールドがありますしかしこれら４つのユースケースだけで現在のSiriKit Media trafficの 90％以上をキャプチャします他にも多くのフィールドを実装してくださいしかしエンジニアリングとQAをよくあるユースケースに対して優先させるのも妥当ですまた注目すべきは Siriのサポートがよいほどユーザはより複雑な要求をするということですから改良すれば使用パターンも変化しますユーザが好んで使っている証拠ですね high trafficな発言と― わずかなIntentでusageの大部分をキャプチャする方法を見てきましたそれらのIntentをデバッガで確認し各ケースのmedia searchを見てみましょう

media searchを見るためにブレークポイントを設定します

“ControlAudioを再生して”で見てみましょう

ブレークポイントを見ると media searchが行われていませんこれは検索基準を指定しなかったからです次に“音楽を再生して”ではどうか？

mediaTypeは音楽に設定され他のフィールドは空欄です “Special Disaster Teamを再生して”では？

期待どおり mediaNameが“Special Disaster Team”に次はより高度にタイトルとアーティスト名を入れます

mediaNameに“Maybe Sometime” artistNameに“Special Disaster Team” 他のフィールドは空欄です最後はプレイリスト “私のWWDCプレイリストを再生して”を試します

“プレイリスト”を発言に入れたため mediaTypeは“プレイリスト” mediaNameに“WWDC”が入りましたこれらのIntentだけで Intent handlerにおける Siri trafficの大部分をキャプチャできます次はSiriKit Mediaのボキャブラリー機能を掘り下げます Siriの自然言語処理システムは機械学習システムですユーザがSiriに何かを要求する時その人のIntentを推測する probabilistic modelがあるのですそのmodelは特定の機能を認識するように訓練されています例えばSiriにジャンルやmedia type sortsやリリース日を教えなくてもそれらを認識するように訓練されているのですこれはエンジニアリングと使い方の観点で好都合です新しいアプリケーションが SiriKit Media Intentsを採用するたびに model trainingを行う必要はありませんまた１つのSiriKit Mediaアプリケーションの使い方を覚えてしまえば全部使えるのですただし他のシステムと同様に問題も生じます

例えば ControlAudioで “70年代パンク･クラシック”というプレイリストがある場合おそらくSiri modelはデフォルトで “70年代”がmediaReleaseDate “パンク･クラシック”が mediaNameと解釈しますそのためControlAudioは具体的なプレイリスト名を出しません

これを解決するには Siriに追加のボキャブラリーを同期し “70年代パンク･クラシック”がプレイリスト名だと認識させますこれを実行する方法は２つ Siriにカタログを教えるには Siriのユーザボキャブラリー機能を使いますユーザボキャブラリー機能は特定のユーザに当てはまるものだけに使用します Siriとボキャブラリーを共有するには INVocabulary APIを使いますこれを見てみましょう

INVocabularyを共有する

記憶したい値でordered setを作るここでは重要な値を最初のほうに置きましょう Siriは順番に注目します

次に記憶したいtypeに setVocabularyStringsを呼びますここではmediaPlaylistTitleです

INVocabularyでの作業では個人のプレイリストのようなユーザが作ったコンテンツを扱いますしかしスピーチと自然言語の認識にバイアスをかけてアーティストやPodcastなどのtaste profileを考慮することも可能です一方グローバルボキャブラリーはアプリケーションのユーザ全員に対するものに使いますユーザボキャブラリーと違って固定のため― アプリケーションの一部として配布する .plistに入れます入れるのはアプリケーション特有のものだけ人気の曲やPodcastはSiriが NL modelの一部として認識しているので不要ですこちらがglobal vocabulary.plistの例 INPlayMediaIntent.playlistTitle fieldに同期しているdataですボキャブラリーのidentifierは “70年代パンク･アンセム” identifierはINMediaSearch mediaName fieldで Siriから受け取る値ですこれがkeyになり “70年代パンク･アンセム”がカタログのプレイリストと一致すると Siriに知らせるのです

ボキャブラリーには多くの種類があり対応するmedia typeに合わせて使えますユーザボキャブラリーのdata typeとグローバルボキャブラリーのkeyは名称が違いますが同じ場所でSiriと同期します音楽アプリケーションにはプレイリストのタイトルやアーティスト名オーディオブックにはタイトルと著者名ラジオやPodcastには番組名ボキャブラリー機能の使用が SiriのIntentにどう影響するか？例えば“70年代のパンク･クラシックをかけて”で Siriが送るIntentがアプリケーションの期待と異なる場合は？デバッガで見てみます

設定を行いその発言でテストしてみましょう

実行します

得られたIntentは期待していたプレイリストのタイトルと一致していません genreNameは“パンク” 年代は70年代これを修正しましょうボキャブラリーをAppDelegateに追加しますこのコードで重要なのはボキャブラリーに順番があること Siriはリストの最初にあるアイテムを優先します認識するアイテムの数は限られているので重要なものを最初のほうに置いてください設定できたらControlAudioを実行し Siriのサーバと同期させますボキャブラリーがSiriのサーバと同期するまで時間がかかるかもしれませんネットワークや電力の状況次第です

同期が完了したので再び同じフレーズで Intent handlerを実行します

まずmedia searchで mediaTypeにプレイリストが設定されています Siriがユーザボキャブラリーで認識し設定したのです mediaNameには“70年代パンク･クラシック”がフルで入っています次はグローバルボキャブラリーを見てみましょう global vocabulary.plistはユーザボキャブラリーと異なりユーザ全員が使うことができます最初にvocabulary.plistを ControlAudioに追加します

見てみましょう

ここでParameter Vocabularies keyに注目まずParameter Namesを見ますプレイリストのタイトルを定義するので値はINPlayMediaIntent.playlistTitle

Parameter Vocabularyは Vocabulary Item Identifierの値を持っています identifierは Intents Media Searchで受ける値今回は直前の例を少し変えて “70年代パンク･アンセム”としましたグローバルボキャブラリーファイルを追加すると― Intent handlerでどうなるか？

再びIntentを見ると mediaTypeはプレイリストプレイリストのタイトルは “70年代パンク･アンセム”です

このようにSiriのグローバルボキャブラリーを使いユーザ全員に重要なものを Siriに認識させるのです Siriの重大なユースケースの１つは Now Playingのコントロールこれらもテストしましょう iOSのNow Playingサポートは MPRemoteCommandCenter classにより実装されています特定のNow Playingコマンドに command handlerを登録すると使えます Now Playingコマンドの例は “再生” “一時停止” “次のトラック” “前のトラック”などコントロールセンターや CarPlayのNow Playing画面にボタンがあればそれに対応するNow Playingコマンドclassがあるのです Now Playing APIの詳細を掘り下げた― “Becoming a Now Playable App”というサンプルコードプロジェクトがありますより詳しい仕組みを知りたい方はそれを見るといいでしょう

Siriは特定のNow Playingコマンドの上で音声インターフェイスとして動きますこの動作は何年も前から見られるものです Now PlayingコマンドをSiriに送ると？

Siriの多くのコマンド同様にまずはSiriが発言を認識しますここでの発言は“次のトラック” 認識した後 MPRemoteCommandCenterにコマンドを送信このケースでは “次のトラック”のコマンドですするとアプリケーションの registered handlerが呼び出されそのコマンドを扱えるようになりますこれはボタンを押して実行することと同じなので Siriの操作と Now Playingボタンの押下は同じことを実行しています実装する場合にはこの点を覚えておくといいでしょうコマンドをいくつか呼び出してみましょうこれから使う発言の例は Siriが対応している多くの自然言語のうちのいくつかです Now Playingサポートを実装する時にすべきことは MPRemoteCommandCenterが Siriと正しく動作するかの確認です

まずは“一時停止”コマンド Siriに“一時停止して”と言うと MPRemoteCommandCenterの一時停止コマンドを呼び出します

次は“再生”です一時停止した曲を再開できます Siriに“再開して”と言うと MPRemoteCommandCenterの再生コマンドを呼びます

“前のトラック”も Siriに発言することでコマンドを呼び出します

“次のトラック”も Siriに発言することでコマンドを呼び出します次は“前方にスキップ” これも発言してコマンドを呼び出しますスキップしたい秒数を具体的に指定することができ Siriがコマンドのinterval propertyに情報を送ります次は“後方にスキップ” これも発言することでコマンドを呼び出します具体的な秒数を指定しコマンドのinterval propertyに連携させますロック画面に現れないコマンドもあります changeRepeatModeと changeShuffleModeは各モードを有効または無効にします使うのはリピートとシャッフルをオンかオフにする時のみシャッフル再生やリピート再生は INPlayMediaIntentを使いましょう changePlaybackRateでは再生速度を設定できます例えば“ゆっくり”や “半分の速度”などです Now Playingコマンドを実行するのと同様に MPNowPlayingInfoCenterでプロパティを設定すれば再生中のコンテンツの質問に Siriが答えますサポートされているプロパティはまずMPMediaItemPropertyTitle “これは何の曲？”と言えば使えます MPMediaItemPropertyArtistは “このバンドは？”と聞きます MPMediaItemPropertyAlbumTitleは “このアルバムは？”と聞けば使えますコマンドをサポートしていない場合は３通りの方法で知らせますアプリケーションに合った方法を適用しましょう

最も簡単なのはコマンドを実行しない方法 MPRemoteCommandCenterでhandlerをインストールしなければ Siriはエラーダイアログを出します

コマンドを無効にもできますある特定の状況下でコマンドを使用不可にしたい場合に便利です例えば“次のトラック”コマンドを音楽配信で広告を流す間無効にできます

コマンドを失敗させてエラーダイアログを出すことも可能ですこれは例外的な場合ですが Siriは対処できます最後に１つ上質なSiriKit Media体験は知ることで得られますどのボイスインテグレーションにも言えますが上質な音声体験のために注いだ努力は目に見えないため気づかれないことがありますしかし機能性を知った人々は Siriを使う傾向にあります具体的な数字は？アプリケーションの機能を学ぶと Siriの使用率が最大で10倍増えますもちろんアプリケーションの外見や雰囲気に合わせることも大事ですしかしSiriを通してより簡単に使ってもらいたければ機能を教えるのがいいでしょう話は以上ですあなたのアプリケーションとSiriでユーザが最高の体験を味わえることを祈ります上質なSiriの体験は使って初めて得られることを忘れずにご視聴ありがとうございました

5:46 - resolveMediaItems method

func resolveMediaItems(for intent: INPlayMediaIntent, with completion: @escaping ([INPlayMediaMediaItemResolutionResult]) -> Void) {
    let mediaSearch = intent.mediaSearch
    resolveMediaItems(for: mediaSearch) { optionalMediaItems in
        guard let mediaItems = optionalMediaItems else {
            return
        }
        completion(INPlayMediaMediaItemResolutionResult.successes(with: mediaItems))
    }
}

10:21 - User vocabulary

let vocabulary = INVocabulary.shared()
let playlistNames = NSOrderedSet(objects: "70s punk classics")
vocabulary.setVocabularyStrings(playlistNames, of: .mediaPlaylistTitle)

11:28 - Global vocabulary example

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
	<key>ParameterVocabularies</key>
	<array>
		<dict>
			<key>ParameterNames</key>
			<array>
				<string>INPlayMediaIntent.playlistTitle</string>
			</array>
			<key>ParameterVocabulary</key>
			<array>
				<dict>
					<key>VocabularyItemSynonyms</key>
					<array>
						<dict>
							<key>VocabularyItemPhrase</key>
							<string>70s punk anthems</string>
						</dict>
					</array>          
					<key>VocabularyItemIdentifier</key>
					<string>70s punk anthems</string>
				</dict>
			</array>
		</dict>
	</array>
</dict>
</plist>

13:07 - Resolve media items method

func resolveMediaItems(for intent: INPlayMediaIntent, with completion: @escaping ([INPlayMediaMediaItemResolutionResult]) -> Void) {
    let mediaSearch = intent.mediaSearch
    resolveMediaItems(for: mediaSearch) { optionalMediaItems in
        guard let mediaItems = optionalMediaItems else {
            return
        }
        completion(INPlayMediaMediaItemResolutionResult.successes(with: mediaItems))
    }
}

13:31 - User vocabulary syncing

// Set our playlist title in user vocabulary so we get the proper Siri intent
let vocabulary = INVocabulary.shared()
let playlistNames = NSOrderedSet(objects: "70s punk classics")
vocabulary.setVocabularyStrings(playlistNames, of: .mediaPlaylistTitle)

14:57 - Global vocabulary example

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
	<key>ParameterVocabularies</key>
	<array>
		<dict>
			<key>ParameterNames</key>
			<array>
				<string>INPlayMediaIntent.playlistTitle</string>
			</array>
			<key>ParameterVocabulary</key>
			<array>
				<dict>
					<key>VocabularyItemSynonyms</key>
					<array>
						<dict>
							<key>VocabularyItemPhrase</key>
							<string>70s punk anthems</string>
						</dict>
					</array>          
					<key>VocabularyItemIdentifier</key>
					<string>70s punk anthems</string>
				</dict>
			</array>
		</dict>
	</array>
</dict>
</plist>

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。