メディアメタデータのパブリッシュと再生インタラクションの詳細

メディアメタデータのパブリッシュと再生インタラクションの詳細

AppのNow Playing情報をすべてのプラットフォームでハイライト表示する方法をご確認ください。メディアメタデータの概要をはじめ、ロック画面やコントロールセンターなどのエリアで表示される仕組み、コンテンツ用の効果的なメディアメタデータの作成方法や公開方法を紹介します。また、HomePodなどの他のデバイスからのコマンドにAppがどう応答するかについても解説します。

リソース
- Media Player
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC22
- 卓越したビデオ再生体験の実現
ダウンロード

（音楽）こんにちは Video Teamの EngineerのNikです今日のトピックはmedia metadata publishingと playback interactionsですどういう意味でしょうか？ Appleデバイスのあちこちで playback情報が表示されコントロールできます例えばControl Centerの Now Playingにはアルバムやタイトルや現在再生中のメディア情報が表示されますまた再生･停止･早送りや巻き戻しもできます Now Playingを拡大するとカバーや経過が表示されスクラブや音量の調整をすることができます Lock Screenでも同じ情報が表示され情報を見たりコントロールができる上 Unlockすることなく AirPlayを使用できます
Apple Watchの Now Playing Appも同じ経験を提供し Apple TV remoteも備えています
tvOSではAVKitを使うと info overlayが番組タイトルやチャプター情報を表示します info paneをスワイプするとアートワークや詳細が表示されます
Apple TV remoteの TV buttonを長押しすると Control Centerが現れ Now Playingが表示されます tvOSの背景でオーディオコンテンツが流れると remoteのplay buttonを押すにしろ別のデバイスの Music appからにしろ Now Playing情報が通知で表示されますまたtvOSでaudio再生時しばらく活動がないとフルスクリーンで情報が表示されます
最後にiOSのControl Other Speakers and TVs buttonで Now Playing情報がすべてのデバイスで見れコントロールもできます
Now Playingが表示されるデバイスが増えコントロールができると正しいNow Playing情報を表示しコントロールに応えるのが非常に重要ですこのセッションでは remote commandsや automatic metadata publishingやAVKit manual publishing についてお話しします AVFoundation for media playbackは Now Playing metadata を発行し MPNowPlayingSessionで反応するのに最適です
これまでtvOSでのみ利用できましたが iOS 16でも利用できるようになりました
個別のセッションに対応するのに使われいくつかセッションがあれば Now Playingのコントロールを提供します manual metadata publishingと automatic publishingの両方をサポートします
MPNowPlayingSessionは後にカバーする automatic publishing機能があるため AVKit使用時は tvOSに使えません Now Playing Appは Control Centerや Lock Screenに表示されユーザーがボタンを押すと playback controlが表示されます MPNowPlayingSessionで１つのApp内でいくつものplayback session に対応できますしかしその場合１つのアクティブなセッションをシステムを通して表示せねばなりません例えば Picture in Pictureの場合２つが同時にプレーされていますがフルスクリーンの方がアクティブとみなされますまたNow Playingに適格とみなす発見法もありますまず最低１つのremote commandに登録しますご想像通り playbackに応じないAppは Now Playing Appには相応しくないと考えられます次にAVAudioSessionが catagory optionで non-mixable catagoryと設定されねばなりません Mixable playback categoryとoptionは通常通知時に使用されるもののためおそらくNow Playingには相応しくないと思われます Playback sessionの例ですここでは映像１つの再生なので１つのMPNowPlayingSession で対応されます PIPに対応するなら２つの MPNowPlayingSessionです１つはメインもう１つはPIP用ですさらに複雑なシナリオでは MPNowPlayingSession１つと複数のPlayerですこの例では４つのPlayerが四分画面に表示されレースを違う角度から捉えています同じMPNowPlayingSession では同じコンテンツの一部であるべきですこれらのセッションを例示したものですまず１つのコンテンツなので Single playerの Single sessionです２つ目はPIPなので２つのSessioに Playerが１つずつあり最初がフルスクリーン次のがPIPコンテンツです最後のマルチビューレースは１つのSessionで４つのPlayerです Sessionが複数あればどのSessionをプロモートするかはAppの責任です例えばPIPで再生中ユーザーがフル画面にするとその前のSessionは無効となり PIP Sessionがフル画面として有効になりますこれは MPNowPlayingSessionの becomeActiveIfPossible で可能になります MPNowPlayingSession の基本と Now Playing Sessionのコントロールを学んだので Lock Screenや HomePodからの Remote command の受信と反応についてですまずはPlay Pauseコマンドの基本から始めましょうこれにより別のデバイスでのコントロール操作や Siriへの指示での Callbackを受信できます MPNowPlayingSessionをまず例示します Sessionは１つなので becomeActiveIfPossible は必要ありません１つのSessionの時は Now Playing Appの時のデフォルトになります MPNowPlayingSessionは MPRemoteCommandCenterでどのRemote commandに反応するかを表示します次にplayCommandの Handlerを足し PlayerのPlay methodを発動しreturn.successします pauseCommandも同様ですコンテンツに対応しサポートするコマンドにそれぞれHandlerをつけます別の例が早送りと巻き戻しコマンドですたいてい使用可能ですが Live streamの場合早送りは不可能ですまず希望する間隔つまり早送りと巻き戻しする秒数を設定しますこの場合 15秒です次にPlayとPause同様早送りボタンや Siriでの指示に対し Handlerを足します HandlerでMPSkipInterval CommandEventを受け取るためそのタイプのイベントをキャストします次に現在の時間と先ほど設定した間隔で経過時間を計算しそこに移動した上で successをreturnします Appで一時コマンドが使用できない場合もあります広告中の早送りなどですその場合skipForwardCommand が無効になります Remote commandへの反応の次は Automatic metadata publishingについてです Automatic publishingは長さや経過時間再生状態や進行状況など metadata propertyを自動的に維持することで metadataの正確性の継続を楽にしますコンテンツの長さや経過時間に影響しない広告が含まれている場合正味時間を計算しその結果を報告しますタイトルや解説アートワークなどのmetadataは nowPlayingInfoで直接 AVPlayerItemsに足せますこの例では automatic publishingにほとんど任せてタイトルとアートワークをセットします MPMediaItemArtworkをまず作成してアートワークを足しますたいていはnetwork requestで呼び込みます次にstring titleをセットしアートワークとタイトルを MPMediaItemPropertyTitleで playerItemの nowPlayingInfoとしてセットします Playing metadataには MPMediaItemPropertyと MPNowPlayingInfoProperty があります MPNowPlayingSessionを最後に作成し Playerにパスし automaticallyPublishNow PlayingInfoをtrueに設定 automaticallyPublishNow PlayingInfoがtrueなら MPNowPlayingSessionがスクラブや再生停止やアイテム変更など Playerを観察し始めますこれは広告がコンテンツに焼き込んでいる場合それらを長さや経過時間に入れないようにどうautomatic publishingを使うかの例ですそのためには含んだ広告のそれぞれに MPAdTimeRangeを作成しますこの例では一番最初に 30秒の広告がありますですのでstartがzeroで長さを30秒に設定します先ほどのタイトルとアートワーク同様 MPNowPlayingInfoProperty AdTimeRangesで MPAdTimeRangeを nowPlayingInfoに足しますそして先ほど同様 MPNowPlayingSessionを作成 automatic publishingを可能にします次はAVKitによる metadata publishingです AVKitでNow Playing metadataを出版するのは MPNowPlayingSession と似ています metadataは直接 AVPlayerItemに足され経過時間や長さや再生状態などの値は自動更新されます PlayerとAssetからの metadataは AppのAVPlayerItemからの metadataと共に Player UIのInfo Paneに使用されますまたAVKitはremote command にも対応します AVKitはAirPlayやPIPなど他の機能を簡単に統合させるツールになります metadataは内容を表現する AVMetadataItemからなる AVPlayerItemのexternal MetadataでAVKit内で設定されます各AVMetadataItemで３つ値を設定しますまずAVMetadataItemがどのmetadataを示すかを指すIdentifier 例えばAVMetadataCommon IdentifierTitleはタイトル AVMetadata CommonIdentifierArtworkはアートワークです次にValueですタイトルの場合タイトルを含むStringですアートワークの場合絵を含むNSDataです DataTypeはアートワークのフォーマットを指します JPEGなら kCMMetadatabase DataType_JPEGとなります最後はExtendedLanguageTag でタイトルや解説などの言語を指定しますたいていの場合誰もが同じ値を見れるよう undを使用すべきです英語の場合en-usを使いたくなりますがその場合スペイン語など他の言語に対し metadataが表示されません
アートワークとタイトルを設定する例ですまずアートワークのデータを Bundleから取り寄せますたいていの場合 network resourceからです次にAVMetadataItemを例示します Identifierを.common IdentifierArtworkに設定 ValueをNSDataと設定しますイメージはJPEGなので dataTypeをkCMMetadata BaseDataType_JPEGに設定アートワークがPNGなら kCMMetadataBaseData Type_PNGを使いますどの言語のデバイスでも metadataを表示したいため extendedLanguageTagを未定義のundに設定タイトルも.common IdentifierTitleで設定し ValueはNSString extendedLanguageTagを undに設定しますすべての設定が済めば配列に足し AVPlayerItemの externalMetadataとして設定しますアートワークとタイトルが Player itemに足され Control Centerと Lock Screenに表示されますアートワークのように解説や字幕情報評価などのmetadataも設定できますリッチな体験を提供するためできるだけ多くの設定をすることをお勧めします MPNowPlayingSessionでの Automatic publishingと AVKitをカバーしましたしかしAutomatic publishing機能は AVPlayer Instanceが必要ですそれがオプションにない場合 Manual publishingも可能でそれにはすべてのmetadataを提供する必要があります Automatic publishingと違い経過時間や再生速度はシステムでは決定できませんつまり低レベル再生の微調整ができ再生が変わるにつれ正確性はAppに委ねられます Remote commandへの対応も要求されます MPNowPlayingSessionを使用していないので MPRemoteCommandCenterの Shared instanceが必要です Now Playing Infoの更新例ですまずイメージのあるMPMedia ItemArtworkを作成します Automatic publishingと似ていますこちらにあるmetadataを含む Dictionaryを作成しますここではタイトルとアートワークと長さ経過時間を再生速度です MPNowPlayingInfoCenterのデフォルトに設定します再生や一時停止など大きな変化があった場合このmetadataを更新するべきです一時停止やスクラブ新コンテンツなどが例です経過時間はその必要はありませんシステムは最後の更新からの時間を基に正しい経過時間を推測します Now Playing metadataの違った出版方法やデバイスからのコマンドに応える方法がわかりそれらでユーザー体験を非常に簡単に向上できます既存の統合法もそうです Automatic publishingで将来の退化を防ぎ最低限のメンテで済みます詳細はdeveloper.apple.com MediaPlayerをご覧くださいありがとうございました

// playing Magnificent

self.session = MPNowPlayingSession(players: [player])



// Playing different WWDC sessions, one full screen and one in PiP

self.session = MPNowPlayingSession(players: [player])
self.pipSession = MPNowPlayingSession(players: [pipPlayer])



// playing multi-view race

self.session = MPNowPlayingSession(players: [topLeft, topRight, bottomLeft, bottomRight])

4:58 - Promoting and demoting sessions as Now Playing

// Promoting and demoting sessions as Now Playing

self.session = MPNowPlayingSession(players: [player])
self.pipSession = MPNowPlayingSession(players: [pipPlayer])

// if the content in PiP is promoted to full screen, swap active

self.pipSession.becomeActiveIfPossible { becameActive in
    // if success, pipSession data populates lock screen, etc, and
    // controls from lock screen, etc are routed to pipSession
}

5:32 - Responding to play and pause commands

// Example of responding to play and pause commands

self.session = MPNowPlayingSession(players: [player])

// respond to play commands
self.session.remoteCommandCenter.playCommand.addTarget { event in
    player.play()
    return .success
}

// respond to pause commands
self.session.remoteCommandCenter.pauseCommand.addTarget { event in
    player.pause()
    return .success
}

6:22 - Responding to skip forward commands

// Example responding to skip forward commands

self.session.remoteCommandCenter.skipForwardCommand.preferredIntervals = [15.0]
self.session.remoteCommandCenter.skipForwardCommand.addTarget { event in
    let skipCommand = event as! MPSkipIntervalCommandEvent
    player.seek(to: CMTimeAdd(player.currentTime(), CMTimeMakeWithSeconds(skipCommand.interval, preferredTimescale: 1)))
    return .success
}

// commands can also be disabled. for example, during an ad:
self.session.remoteCommandCenter.skipForwardCommand.isEnabled = false

// add handlers for all commands that are applicable to the content // https://developer.apple.com/documentation/mediaplayer/mpremotecommandcenter

7:48 - Setting artwork metadata with automatic publishing

// Example of setting artwork metadata
let artwork = MPMediaItemArtwork(image: image)
let title = "Magnificent"

playerItem.nowPlayingInfo = [
    MPMediaItemPropertyTitle: title,
    MPMediaItemPropertyArtwork: artwork,
    // …
]

self.session = MPNowPlayingSession(players: [player])
self.session.automaticallyPublishNowPlayingInfo = true

8:38 - Setting ad time ranges for automatic publishing

// Example with ads that should not contribute to elapsed time and duration

let preroll = MPAdTimeRange(timeRange: CMTimeRange(start: CMTime.zero, duration: CMTimeMakeWithSeconds(30, preferredTimescale: 1)))


playerItem.nowPlayingInfo = [
    …
    MPNowPlayingInfoPropertyAdTimeRanges: [preroll]
    …
]

self.session = MPNowPlayingSession(players: [player])
self.session.automaticallyPublishNowPlayingInfo = true

11:02 - Setting artwork and title metadata for AVKit

// Example of setting artwork metadata

let path = Bundle.main.path(forResource: "poster", ofType: "jpg")
let posterData = FileManager.default.contents(atPath: path!)!

let artwork = AVMutableMetadataItem()
artwork.identifier = .commonIdentifierArtwork
artwork.value = posterData as NSData
artwork.dataType = kCMMetadataBaseDataType_JPEG as String
artwork.extendedLanguageTag = "und"

let title = AVMutableMetadataItem()
title.identifier = .commonIdentifierTitle
title.value = "Magnificent" as NSString
title.extendedLanguageTag = "und"

playerItem.externalMetadata = [artwork, title]

12:59 - Manually publishing Now Playing

// Example of setting Now Playing information

let artwork = MPMediaItemArtwork(image: image)

let nowPlayingInfo = [
    MPMediaItemPropertyTitle: title,
    MPMediaItemPropertyArtwork: artwork,
    MPMediaItemPropertyPlaybackDuration: playerItem.duration,
    MPNowPlayingInfoPropertyElapsedPlaybackTime: player.currentTime().seconds,
    MPNowPlayingInfoPropertyPlaybackRate: player.rate
]

MPNowPlayingInfoCenter.default().nowPlayingInfo = nowPlayingInfo

13:25 - Updating Now Playing metadata

// On any non-linear time change, playback rate change, or play/pause

var nowPlayingInfo = MPNowPlayingInfoCenter.default().nowPlayingInfo
nowPlayingInfo[MPNowPlayingInfoPropertyElapsedPlaybackTime] = player.currentTime().seconds
nowPlayingInfo[MPNowPlayingInfoPropertyPlaybackRate] = player.rate

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC22