SiriKit Media Intentsをより多くのプラットフォームに拡大する

SiriKit Media Intentsを使い、音楽やオーディオAppで、Siriからの再生を有効にする方法をお見せします。音楽、ポッドキャスト、その他の音声サービスを、HomePodやApple TVなどのより多くのプラットフォームにSiriのサポートを追加して、ユーザーはSiriに尋ねるだけでそれらを視聴可能になる方法を丁寧にご説明します。また「その他の候補」をサポートする新しいAPIを使用し、ユーザーがSiriのインターフェースを離れることなく素早く視聴できる方法もお伝えします。

リソース

関連ビデオ

WWDC20

Tech Talks

SiriKit Media IntentsをHomePodに統合する

ダウンロード

こんにちは　WWDCへようこそ “SiriKit Media Intentsをより多くのプラットフォームに拡大する” こんにちは　ダニー･マンデルです。 “SiriKit Media Intentsをより多くのプラットフォームに拡大する”へようこそ SiriKit Mediaの新しい機能と新たな体験をご紹介したいと思いますお伝えすることがたくさんありますよ今年は家で使用するSiriKit Media Intentsに特に重点を置いており― これを新たなプラットフォームに拡張させていく予定ですいくつか新機能についてもご説明した後最後に SiriKit Mediaの体験を加速させるための新たな方法をご紹介しますではまず新しいSiriKit Mediaのプラットフォームについてお話しします昨年我々は皆さんに最高の体験をお届けしましたが今年は家で音楽を聞く際にも同じように最高の体験を楽しめるようにします

Appleのホームで HomePod独自の特徴を活用すべく HomePodに同じMedia Intentsと新しいクラウドの再生用APIを使用しています Developer Programの全詳細は developer.apple.com/siriで確認できます

この度 SiriKit Media Intentsが Apple TVでも使用できるようになりました皆さんは iOSのアプリケーションのほか Apple TVをカスタマイズして楽しんでいますよねそのため SiriKit Mediaをそれらのアプリケーションで使用可能にしたかったのですではここからはライアン･クレムスが新しいApple TVの機能性をご紹介します昨年 iOS 13とwatchOS ６にメディアアプリケーションに対応する Sirikit Media Intentを導入しました今年は同じ機能性を tvOS 14に持たせることができましたこれにより大画面でもアプリケーションをサポートするSiriを追加できます SiriKit Media Intentsでアプリケーションに幅広い種類の自然言語のクエリを追加できるのでシンプルな検索ができます ControlAudioで音楽をかけて

バンド名で再生させることができます ControlAudioでバンド「クルアンビン」をかけて

アーティスト名で曲を流すこともできます ControlAudioでマシュメロ&ホールジーの「Be Kind」をかけて

他にもいろいろとできます tvOSのアプリケーションに対応する SiriKit Media Intentを追加する際は iOSにサポートを追加するのと同じ手順を踏んでください 2019年のWWDCセッション “SiriKit Media Intentsの導入”にてアプリケーションにExtentionターゲットを追加する手順を説明しているのでご参照くださいではSiriKit Media Appsにおける自然言語のリクエストの処理方法を説明します

IntentハンドラはSirikit Mediaのリクエストをハンドルするキークラスで実装するためのキーメソッドは resolvedMediaItemsです resolvedMediaItemsはアプリケーションから受け取った― INPlayMediaIntentオブジェクトを評価しそれをアプリケーションに再生させたい具体的なmediaItemに変換すべく検索を行います mediaItemが決定したら呼び出されたハンドラがアプリケーションを起動させるのでユーザーは音を再生することが出来ます tvOSとの違いは顧客が１度に１つのアプリケーションと応答し合うという点ですフォアグラウンドで実行するアプリケーションが結果応答としてはより優先されるようですバックグラウンドで実行するものが応答として優先されるiOSとは異なりますねこれをコントロールする際には continueInAppを返しますが handleInAppではなくハンドルメソッドから行うのです昨年ご紹介した簡単なステップを踏めば tvOSのSiriを通してオーディオコンテンツをアプリケーションで操作できるようになります昨年はiOSとwatchOSでSiriKit Media Intentsが多様な形で活用されており感激しました今年は皆さんが tvOSをどう活用してくれるのか楽しみにしていますすばらしい紹介をありがとうライアン次は新機能についてご紹介しますこれらの機能を使えば Siriを利用してさらに手軽に音楽を聞けるようになります我々のサンプルアプリケーションである ControlAudioを使ってご説明しますこのアプリケーションは WWDC19でご紹介しましたではSiriの新たな代替UIについてお話しします

まず新しいコンパクトなSiriのUIで現在のSiriKit Mediaの体験を見てみましょうアルバム「New Me, Same Us」から１曲かけるように指示を出しますすると ControlAudioが１曲を選び再生を始めますこれ以上の指示は出せないのでその１曲だけしか再生できませんしかし再生し始めた曲よりも少し違う曲がよかったと思うこともありますよねだから実行中でもより簡単に微調整ができるようにしたんですアプリケーションを開くために現在やっている作業を中断する必要はありません我々が新たに開発したSiriKit Mediaの代替UIでそれが可能になります画面上では同じ曲を再生するという指示を受け Siriが曲を再生し始めましたね

ところが今“Maybe You Wanted,”という新しいメニューが表示されましたこれをタップすると次のUIが現れます

ご覧のとおり同じアルバムに収録された別の曲が表示されましたこれらは ControlAudioが選んだ曲の代わりにユーザーが選ぶ可能性のあった曲ですこれらのオプションのどれか１つをタップすれば最初とは別の曲を再生できるのですこれが新しいSiriKit Mediaの代替UIの機能です使い方は非常にシンプルになっています現在のresolvedMediaItemメソッドでは INMediaItemResolutionResultに success with resolvedMediaItemメソッドを呼び出しますよねするとそのメソッドは単数のmediaitemのResolution Resultを返します

複数のアイテムを返す方法は簡単です新しい複数バージョンに切り替えると successes with resolvedMediaItemsやリストの一番目に来るアイテムの後に並ぶものが代案として表示されます

次にユーザーが代案の中の１曲を選んだ場合タップをどう処理すべきかご説明します代案の中の１曲をタップするとタップされたメディアアイテムは処理されるInPlayMediaIntentのメディアアイテムとしてセットされますつまり他のInPlayMediaIntentを処理するようにこれを処理できるのです SiriKit Media Alternativesで処理させるために行うべきコードの書き換えを見ていきましょうまずはサンプルコードプロジェクトの ControlAudioでIntentハンドラを開きます

そして resolvedMediaItemsメソッドに導きます

現在呼び出している単数バージョンのメソッドは “success with”ですではアプリケーションを実行するとどう動くのか見てみましょう

ControlAudioで「New Me, Same US」から曲をかけて ControlAudioでリトル･ドラゴンの「Where You Belong」を再生します再生を開始しましたが代案は表示されません

またXcodeに戻りましょうプロセスを終了した後メソッドを更新し単数の代わりに複数のメディアアイテムを返すようにします

ここで複数バージョンのメソッドである― “successes with”を呼び出しますではアプリケーションを実行して今回はどう動くのか確かめましょう

ControlAudioで「New Me, Same US」から曲をかけて ControlAudioでリトル･ドラゴンの「Where You Belong」を再生中ですこの通りです　今度は代案があるので１曲選びましょう

では「New Fiction」をかけます

再生が始まりましたねこうすれば SiriKit Mediaに備えられた新しい代案のサポートを簡単に入手できます今年はSiriKit Mediaのパフォーマンスを新たに改善しました

昨年 SiriKit Media Intentsを発表した時は SiriKit Mediaの機能性を適用するために Intents Extentionを使用する必要がありましたしかし今年からは新たな方法で SiriKit Media Intentsをハンドルできます In-app intent handlingを使うのです

In-app intent handlingはすべてのIntentをハンドルする段階で Extention内よりもむしろアプリケーション内で動きますこれにより Intents Extentionとアプリケーションを実行する必要がない時バックグラウンドでAudio Sessionを開始するために実行プロセスを避けられますただアプリケーションを起動するだけでいいのです

しかしアプリケーション全体を起動しているためリゾルブフェーズの間に Siriのレスポンスタイムが遅れるかもしれません Intents Extentionは素早く起動するために最適化された小さくて軽いプロセスですそのため必ずアプリケーション全体の起動体験を調整し速いレスポンスを得ましょう

プレーヤーウォーミングフェーズを早い段階から始められるのも大きな利点ですそこでリゾルブを実装しますからね認証を取るためにネットワークリクエストを始める必要があると分かっている場合はリゾルブの始めに開始することができますそしてIntentをハンドルする頃までには確実にプレーヤーの初期化を100%の状態にしておくことができます “Intentsをアプリケーションと統合する” というプレゼンをご覧いただければ In-app intent handlingの全詳細を把握できますよ現存のExtentionベースで実装している方は今年 App prewarmingを通してパフォーマンスを高めることが可能です現存のSiriKit Mediaの実装では通常リゾルブコンファームハンドルというフェーズを経ることになっていますそしてこれらが完了すると音の再生が開始されるようバックグラウンドアプリケーションが起動しますこれにより ExtentionはすべてのIntentのハンドリングロジックを含めることができまたアプリケーションは再生ロジックをハンドルすることができるのですしかしアプリケーションの重要事項であるプレイバックエンジンの設定や認証の取得を通常よりもかなり遅らせることも出来ます

SirikitがApp prewarmingを使いより早い段階でアプリケーションを始動させ Extentionが完了したらすぐに再生を開始できる状態にしておきます App prewarmingがアプリケーションに追加の処理を必要とするという点をお忘れなくあなたが正しい処理をさせているか我々と一緒に確認するとよいでしょうそして最後に In-app intent handlingと App prewarmingには長所と短所がありますあなたの実装にとってどんなメリットやデメリットがあるのかを検討した上でどれがあなたに一番合うのか決めてくださいねデベロッパコミュニティの皆さんに知っておいてもらいたいのですが皆さんに提供するサービスは我々自身で使ってからリリースしています我々のバグフィックスや新しい機能そしてパフォーマンス改善のための共通のフレームワークを持てることを非常にうれしく思います皆さんとAppleのSiriチームどちらの利益にもなりますからねでは今年はぜひ SiriKit Mediaを通して最高かつ新しい体験を人々に与えてください

2:45 - resolveMediaItems method

func resolveMediaItems(for intent: INPlayMediaIntent, with completion: @escaping ([INPlayMediaMediaItemResolutionResult]) -> Void) {
}

3:03 - handle with .continueInApp

func handle(intent: INPlayMediaIntent, completion: (INPlayMediaIntentResponse) -> Void) {
  completion(INPlayMediaIntentResponse(code: .continueInApp, userActivity: nil))
}

5:24 - Singular successWithResolvedMediaItem call
```
INPlayMediaMediaItemResolutionResult.success(with: mediaItems[0])
```
5:40 - Plural successesWithResolvedMediaItems call
```
INPlayMediaMediaItemResolutionResult.successes(with: mediaItems)
```

6:07 - handle with .handleInApp

func handle(intent: INPlayMediaIntent, completion: (INPlayMediaIntentResponse) -> Void) {
  completion(INPlayMediaIntentResponse(code: .handleInApp, userActivity: nil))
}

6:37 - ControlAudio resolveMediaItems

func resolveMediaItems(for intent: INPlayMediaIntent, with completion: @escaping ([INPlayMediaMediaItemResolutionResult]) -> Void) {
    let mediaSearch = intent.mediaSearch
    resolveMediaItems(for: mediaSearch) { optionalMediaItems in
        guard let mediaItems = optionalMediaItems else {
            return
        }
        completion(INPlayMediaMediaItemResolutionResult.successes(with: mediaItems))
    }
}

10:24 - App prewarming background appLaunch

func application(_ application: UIApplication, didFinishLaunchingWithOptions launchOptions: [UIApplication.LaunchOptionsKey: Any]?) -> Bool {
    // Locate any app prewarming logic in this method -- fetch credentials, get audio player ready, etc.
    return true
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。