HLSにおけるメディアのギャップレスな遷移

HLSにおけるメディアのギャップレスな遷移

エピソード、曲、シーン、個々のリソース間をシームレスに遷移するストリーミングメディアコンテンツを作成する方法を紹介します。ギャップレスHLS再生では、複数のコンテンツを瞬時につなぎ合わせて、カスタマイズされたワークアウトの作成、インタラクティブなコンテンツのデザイン、説得力のあるストーリーの展開などが可能です。音楽のストリーミング、イベントの録画、録画済みのビデオに忠実な連続性を提供し、App内で魅力的な視聴体験を提供する方法を紹介します。

リソース
- HTTP Live Streaming - Overview
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC21
- AVFoundationにおけるHLSバリアント
ダウンロード

♪ (HLSにおけるメディアのギャップレスな遷移) こんにちはこのセッションは HLSでメディアをギャップレスに再生する方法についてです私はAppleのストリーミングメディアチームのサイモンです AVQueuePlayerを活用していますか？またはご自分のAppで HLSアイテムの「次に観る」といったシームレスな再生をご自分の顧客に提供したいですか？メディアをプロデューサーが望んだ通りに連続再生させたいですか？そして私たちはメディアをもっと長く楽しむ経験を提供しお客様をサポートできるでしょうか？もしそうならこのセッションは皆様にぴったりです HLSアイテムをギャップレスに再生する方法を学べます今回のテーマはこちらですこの新機能で提供可能な魅力的なメディア体験についていくつか見ていきますメディアオーサリング必要条件の詳細を説明し成功事例のハイライトと共にプレイリストの例をご紹介し最後にデモを確認します AVQueuePlayerで HLSのAVPlayerItems間で遷移を行うことにはストレートなメリットがあります今まで再生には若干不快な部分がありました音声や視覚的要素がぶちぶち切れたり不確定なバッファリングエラーが発生したりなどですアイテムをギャップレスに再生するようにすると Appが顧客とコンテンツの間に提供するつながりを維持することができます「ダイヤルを触るな」という言葉を思い出すでしょうか 1つのエピソードの終わりからもう1つの初めまでシームレスに再生されるエピソード風メディアを作ることができますギャップレス再生は私たちがずっと楽しんできたシームレスでトラックからトラックへのアルバム体験の再現を可能にしますこれによりライブではどうであったかや制作者の意図をより正確に再現します切れ目や中断のない体験を提供できますリニアなプログラム再生も良いのですが視聴者をあるタスクやシーンに誘導し次へと滑らかに誘導する動的でインタラクティブな体験も提供できます例えばワークアウトと他の教育メディアの間に遷移があるとします今回可能になったギャップレス再生ではオーディオビジュアルシーケンスの場面を連続性を正確に保ちながらプログラム的につなげられますつまりワークアウトに繰り返しやクールダウンを自然に加えられますこれを全て HTTPでのアダプティブビットレートメディアストリーミングの利点を享受しつつ実現できるのですもちろん私たちも活用しています！ Apple Musicの新機能は HLS経由でコンテンツを配信し曲と曲をギャップレスに配信できるようにしていますこの機能を皆様や皆様の顧客に提供できてとても嬉しいですではHLSコンテンツで同じアイテム再生に作用するために統合が必要なオーサリング必要条件を詳しく見ていきましょう HLSマニフェストで連続アイテム間でオーディオ形式の連続性を実現するバリアントを提供することでギャップレス再生が可能になりますコンテンツでは次のオーディオメディア特性に一致するバリアントの提供が必要です FairPlay Streamingや Streamタグのコーデック属性が指定するオーディオコーデックそしてMediaタグの Channels属性が指定するチャネルカウントを使用することですオーディオレンディションを異なるサンプルレートやビット深度で提供する場合ギャップレス再生が阻害されるかもしれませんマッチの提供や連続性の維持をするというアドバイスはこうした特性にも当てはまりますつまりギャップレス再生を行うには連続でキューに追加される各バリアントに相当するオーディオメディアを提供しましょう最後にメディアをオーサリングする際には CMAF(共通メディアアプリケーションフォーマット) オーサリングガイダンスに従ってくださいこのMPEG規格ではプライミングの存在と残りのフレームを知らせるための編集リストを使うことを特に推奨されていますここで単純な例を見てみましょう 2つの候補アイテムのマスターバリアントプレイリストを検証しますこのHLSマニフェストで 4つのオーディオビジュアルバリアントを挙げました 720pバリアントペアと 1080pバリアントのペアです各ペアには High-Efficiency Advanced Audio Codec HE_AAC をエンコードしたバリアントと AAC Low Complexityまたは AAC_LCのものを挙げていますこの例では再生状態で HE_AACとペアの720p動画の選択がサポートされているとします再生が終わりに近づくと AVQuePlayerが少なくとも最初は連続するアイテムの中で似たようにエンコードされたバリアントを選択しますこれは今度はネットワーク状態でより高品質な層がサポートされていても同じですギャップレス再生中はよどみなく再生することが高品質を選ぶことより優先されています再生が進むとアダプティブビットレート発見的問題解決法が評価されその状態が続くとプレイヤーがより高品質なものへとシームレスに切り替えます素晴らしい！さて 2つ目のアイテムに HE_AACを施さなかったとしますその場合 AVQueuePlayerはオーディオ連続性を維持できず維持できませんが再生状態から最も適切な初期バリアントを自由に選択できますギャップレス再生対応のコンテンツをオーサリングしたとしましょうその場合 AVQueuePlayerの使い方を思い出さなければなりませんここには短いコードスニペットがあります 2つのAVPlayerItemを作成し順番に再生の前にキューに入れますアイテムが2つの異なる URLからソースしていますね AVQueuePlayer 作成後「InsertAfter」メソッドを使ってキュープレイヤーに目的のシーケンスを通知します後は「play」をメッセージするだけです
ここでお伝えしたい上級テクニックを使うと単一アセットを使えるようになりますこのアセットからは複数のAVPlayItemsを例示化できます異なるインポイントとアウトポイントの定義は各AVPlayerItemで AVQueuePlayerでキューに加える前に行えます AVPlayerItem seekToTimeメソッドではインポイントを forwardPlaybackEndTimeではアウトポイントを定義できますこのコンセプトをイラスト化してみましたアイテム1 2 3 は全て同じ AVAssetからソースされ同じ3つのシーンを構成しています異なるインポイントでそれぞれをseekToTimeでキューに入れアウトポイントは forwardPlaybackEndTimeで定義したという点でこれらは別物と言えますこれでこの3つのさもないと同一のアイテムを AVQueuePlayerにエンキューしカスタマイズの動的なシーケンスが得られましたでは実際のギャップレス再生をデモで視聴してみましょうこのデモでは3つのワークアウト動画ストリームをインタラクティブにつなぎ合わせていますそれぞれでAVKitコントロールを残しておいたので別々のストリームリソースであると分かるでしょうまずは3つを全てシームレスに再生したものをお見せしその後シーケンスをインタラクティブに編集しますご自分のソフトウェアで同じものを配信またはプログラム的に並び変えたとイメージしてください
ウォームアップを始めよう ♪ ヒルズランの準備はいいかい？ ♪ 良し！終わったらクールダウンだ
♪ 見ているだけで汗をかきそうです「終わり」画面までスキップしヒルズランはさぼりたくなりましたサンフランシスコには沢山ありますからねエクササイズセットの順番を編集してスキップ可能にしましょうヒルズをトップに持って来ますウォームアップ後にクールダウンへとすぐにギャップレスに移れるようになりましたウォームアップを選択して始めると今は2番目のポジションにあり最初のワークアウトになっています
ウォームアップを始めよう ♪ 良し！終わったらクールダウンだ
♪
このセッションで学んだ主なポイントをまとめましょう HLSでギャップレス再生を実現するには一致するオーディオフォーマットのある変数を各アイテムに提供しなければなりませんまたアイテムをシーケンスでキューに入れるだけで AVQueuePlayerにギャップレス再生を簡単に実行させられることも学びましたこれについてはバリアント検索用の新APIを紹介する関連セッションがありますソフトウェアやサービスでアイテムのオーディオフォーマット一致がうまくいかない時に役立つでしょうこのセッションや他のWWDC セッションをお楽しみいただければと思いますご視聴ありがとうございました ♪

6:12 - create two items, enqueue in order and play gaplessly

// create two items, enqueue in order, 
// and play gaplessly

let item1 = AVPlayerItem(url: url1)
let item2 = AVPlayerItem(url: url2)

let player = AVQueuePlayer()
	
player.insert(item1, after: nil)
player.insert(item2, after: item1)

player.play()

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC21