AVFoundationにおけるHLSバリアント

AVFoundation APIを使用して、App内でコンテンツの異なるバリアントをハイライトする方法を確認します。SDR/HDR、FPSなどの属性を含むさまざまなビデオ特性について、これらのAPIを使用してHLSコンテンツを検査する方法を紹介します。また、ストリーミングやオフラインのコンテンツを表すAVAssetVarientについても紹介します。

リソース

関連ビデオ

WWDC21

WWDC20

HLSをダウンロードしてオフラインで再生する方法について学ぶ

ダウンロード

♪ (AVFoundationにおける HLSバリアント) WWDCにようこそ AVFoundationチームエンジニアのニシャントです今日のテーマは HLSバリアントですまずAVFoundation APIで HLSバリアントを検証する方法を説明しその後HLSバリアントをダウンロードして使う方法に移りますではバリアント検証から始めましょう通常のプレイリストについてはご存知ですよねこの例のこのプレイリストには 2つのバリアントがあります 1つはステレオオーディオの SDRバリアントでもう1つは Dolby Atmosオーディオの Dolby Vision バリアントですこのプレイリストを示すアセットは Appではこのように表示されているかもしれませんよく見てみるとアセットに 4KとDolby Vision Dolby Atmosのバッジがあります従来はこうした情報は帯の外にありましたが iOS 15では HLSプレイリストから直接見られますそのためにはマスタープレイリストの場所を指すAVURLAsset から始めましょう後でHLSプレイリストをバリアントのプロパティ経由で得られるようになりますこのAVAssetVarientはマスタープレイリストからの HLSバリアントを表します従って様々なメディア属性を表す複数のプロパティがありますメディアビットレートなど属性の中には直接アクセスされるものもあります一方で動画・オーディオレンディション関連のものなど独自のサブクラスに一緒にグループ化されるものもありますそれぞれ VideoAttribute AudioAttribute と呼ばれますご覧の通りそれぞれに関連するプロパティがありこれを使って自分のアセットを理解できます AVFoundationでHLSバリアントを検証する方法が分かったのでダウンロードして使う方法を見ていきましょうオフライン再生用HLS コンテンツダウンロードは 2016年からサポートされています HLS doanload API を初めて聞く方は WWDC 2020の関連動画をチェックしてください iOS 15では HLS download APIがさらにパワフルになりました通常はダウンロードに選択されたHLSバリアントに影響させたいものですビジネス的に必要だったりユーザーにさらなる選択肢を与えたい場合です以前はこのようなインプットを downloadTaskオプション経由で提供できました HDRやロスレスオーディオその他の属性用のオプションがありました iOS 15では NSPredicatesでバリアント選択が拡大されています Core Dataからの述語は既にお使いかもしれませんそうでなくても今日説明するのでご心配なくではバリアント修飾語インターフェイスをご紹介しますこのインターフェイスではバリアント設定をAVFoundationに指定することができます私が述べた通り NSPredicateを使って構築可能です分かりやすいようにいくつか例を見ましょうピークのビットレートが 5MB以下になるよう式で表されたNSPredicate がありますこれを使ってバリアント修飾語を構築しますするとそれがAVFoundationを 5MB以下のバリアントを好むように構築します非常に単純ですね別の例を見てみましょう HDRビデオレンジの NSPredicateを作成します前と同じようにそのためのバリアント修飾語を構築できますまた2つの述語を組み合わせて複合述語を作ったりバリアント修飾語を作ったりもできますバリアントのプロパティはそれに対する述語を作るのに使えます述語フォーマット文字列では式を書きにくいオーディオチャネルカウントなどのプロパティにもカスタムのコンストラクタを用意しましたバリアント修飾語のヘッダードキュメント内から検索できますバリアント修飾語を用意したらそれを使ってコンテンツコンフィギュレーションを作りますコンテンツコンフィギュレーションはそれぞれ動画やオーディオ字幕レンディションのセットを示します例を使って理解しましょうこれは先程見た 2つの述語を複合するバリアント修飾語です確かに複合ですねこれはAVFoundationに 5MB以下のHDRバリアントを優先するよう通知しますまた英語やフランス語のオーディオや英語字幕レンディションを示すメディア選択のセットもありますこれらは両方ともコンテンツコンフィギュレーションオブジェクト作成に使えますこうしたコンテンツコンフィギュレーションを複数作成し downloadTask に提供できますこれら複数のコンテンツコンフィギュレーションはダウンロードコンフィギュレーションで束ねられますこれは全てをまとめているルートです AVURLAssetで作成されアセット名や任意で画像が必要ですアセット名と画像は設定Appに表示されていますこれでユーザーは全てのダウンロードを設定Appという 1つの場所から管理できますそしてもちろん downloadTaskは複数のコンテンツコンフィギュレーションで構成可能ですよく見てみましょうコンテンツコンフィギュレーションの1つはプライマリとして残りは補助として指定されますこの2つの違いは通常は最優先の動画やオーディオ字幕レンディションをダウンロードしそれらを追加オーディオや字幕レンディションで補完したいからです追加のレンディションを補助コンテンツコンフィギュレーションとして指定することで AVFoundationの最適化を支持し動画レンディションのダウンロードを回避できます例で説明するとより分かりやすいでしょうここに完璧な例がありますまずAVURLAssetとタイトルでダウンロードコンフィギュレーションを作成しますプライマリコンテンツコンフィギュレーションは先程のものと同じです 5MB以下のHDRバリアントを英語とフランス語音声と英語字幕レンディションでダウンロードする構成ですこの例ではそれを補助コンテンツコンフィギュレーションで補完して英語音声をロスレスフォーマットでダウンロードしたいですダウンロードしたいコンテンツコンフィギュレーションは両方揃っています optimizesAuxiliary ContentConfigurations はtrueに設定しますところでデフォルトでは trueになっていて AVFoundationはロスレスバリアントを選択できますロスレスバリアントの動画レンディションがプライマリコンテンツコンフィギュレーションと同じなどです falseにするとロスレスバリアントが別々で評価され二重の動画レンディションがダウンロードされる場合がありますダウンロードサイズも増えるという嫌な結果になりますさてダウンロードコンフィギュレーションが済んだらそれでdownloadTaskを作成できます downloadTaskを再開しダウンロードを開始しましょう iOS 15以降は NSProgressインターフェイスで downloadTaskの進捗をチェックすることもできます NSProgressオブジェクトは KVO-observableなのでそれでユーザーインターフェイスを更新できます次にいきましょう Appleではバリアントの選択にビジネス的要素の検討も含まれると理解していますそのため述語経由で式を書くのはより大変かもしれませんそうしたケースではダウンロードしたいバリアントを明示的に選択することもできますこの例ではプライマリ・補助バリアントを既に選択済みでメディア選択の準備は万端です修飾語を直接バリアントで作成することで AVFoundationにそのままダウンロードするよう指示できますダウンロード時にデバイスで再生できるようバリアントは注意深く選びましょう今日のテーマはここまでですまとめると HLSバリアントを検証し downloadTaskの構成に用いる方法を見てきましたその時 downloadTask コンフィギュレーションで様々なインターフェイスがありました 1番目はバリアント修飾語でバリアント設定を書くのに使われます次はコンテンツコンフィギュレーションインターフェイスでこれはバリアント設定とメディア選択内容をつなぐのに用いられます最後はダウンロードコンフィギュレーションですこれは全てを結合させるルートインターフェイスです最後になりましたが downloadTaskを NSProgressで監視できることも学びました詳しくはAppleの詳しいヘッダードキュメントをご覧くださいご視聴ありがとうございました ♪

0:40 - HLS Master Playlist

#EXTM3U
#EXT-X-VERSION:7
#EXT-X-INDEPENDENT-SEGMENTS

#EXT-X-MEDIA:TYPE=AUDIO,NAME="English",GROUP-ID="stereo",LANGUAGE="en",DEFAULT=YES, AUTOSELECT=YES,CHANNELS="2",URI="en_stereo.m3u8"
#EXT-X-MEDIA:TYPE=AUDIO,NAME="French",GROUP-ID="stereo",LANGUAGE="fr",DEFAULT=NO, AUTOSELECT=YES,CHANNELS="2",URI="fr_stereo.m3u8"

#EXT-X-MEDIA:TYPE=AUDIO,NAME="English",GROUP-ID="atmos",LANGUAGE="en",DEFAULT=YES, AUTOSELECT=YES,CHANNELS="16/JOC",URI="en_atmos.m3u8"
#EXT-X-MEDIA:TYPE=AUDIO,NAME="French",GROUP-ID="atmos",LANGUAGE="fr",DEFAULT=NO, AUTOSELECT=YES,CHANNELS="16/JOC",URI="fr_atmos.m3u8"

#EXT-X-STREAM-INF:BANDWIDTH=14516883,VIDEO-RANGE=SDR,CODECS="avc1.64001f,mp4a.40.5", AUDIO="stereo",FRAME-RATE=23.976,RESOLUTION=1920x1080
sdr_variant.m3u8

#EXT-X-STREAM-INF:BANDWIDTH=34516883,VIDEO-RANGE=PQ,CODECS="dvh1.05.06,ec-3", AUDIO="atmos",FRAME-RATE=23.976,RESOLUTION=3840x1920
dovi_variant.m3u8

3:38 - Peak bitrate cap predicate

let peakBitRateCap = NSPredicate(format: "peakBitRate < 5000000")

let peakBitRateCapQualifier = AVAssetVariantQualifier(predicate: peakBitRateCap)

3:55 - HDR predicate

let hdrOnlyPredicate = NSPredicate(format: "videoAttributes.videoRange == %@", argumentArray: [AVVideoRange.pq])

let hdrOnlyQualifier = AVAssetVariantQualifier(predicate: hdrOnlyPredicate)

4:46 - Content configuration

let variantPref = AVAssetVariantQualifier(predicate: NSPredicate(format: "videoAttributes.videoRange == %@ && peakBitRate < 5000000", argumentArray: [AVVideoRange.pq]))

let myMediaSelections : [AVMediaSelection] = [enAudioMS, frAudioMS, enLegibleMS] //English, French audio and English subtitle renditions 

let contentConfig = AVAssetDownloadContentConfiguration()

contentConfig.variantQualifiers = [variantPref]

contentConfig.mediaSelections = myMediaSelections

6:29 - Download configuration

let asset = AVURLAsset(url: URL(string: "http://example.com/master.m3u8")!)
let dwConfig = AVAssetDownloadConfiguration(asset: asset, title: "my-title")

/* Primary content config */
let varPref = NSPredicate(format: "videoAttributes.videoRange == %@ && peakBitRate < 5000000", argumentArray: [AVVideoRange.pq])
let varQf = AVAssetVariantQualifier(predicate: varPref)

dwConfig.primaryContentConfiguration.variantQualifiers = [varQf]
dwConfig.primaryContentConfiguration.mediaSelections = [enAudioMS, frAudioMS, enLegibleMS] //English, French audio and English subtitle renditions 

/* Aux content config */
let auxVarPref = NSPredicate(format: "%d IN audioAttributes.formatIDs", argumentArray: [kAudioFormatAppleLossless])
let auxVarQf = AVAssetVariantQualifier(predicate: auxVarPref)

let auxContentConfig = AVAssetDownloadContentConfiguration()
auxContentConfig.variantQualifiers = [auxVarQf]
auxContentConfig.mediaSelections = [enAudioMS] //english audio
dwConfig.auxiliaryContentConfigurations = [auxContentConfig]

dwConfig.optimizesAuxiliaryContentConfigurations = true

7:42 - Download task

let myAssetDownloadDelegate = MyDownloadDelegate()
let avurlsession = AVAssetDownloadURLSession(configuration: URLSessionConfiguration.background(withIdentifier: "my-background-session"), assetDownloadDelegate: myAssetDownloadDelegate, delegateQueue: OperationQueue.main)

let asset = AVURLAsset(url: URL(string: "http://example.com/master.m3u8")!)
let dwConfig = AVAssetDownloadConfiguration(asset: asset, title: “my-title”)

...

let downloadTask = avurlsession.makeAssetDownloadTask(downloadConfiguration: dwConfig)

downloadTask.resume()

let progress = downloadTask.progress

8:10 - Direct variant selection

/* Example for direct variant selection */

let asset = AVURLAsset(url: URL(string: "http://example.com/master.m3u8")!)
let dwConfig = AVAssetDownloadConfiguration(asset: asset, title: "my-title")

/* Primary content config */
let myVariant : AVAssetVariant = ...
let myMediaSelections : [AVMediaSelection] = ...

let variantQf = AVAssetVariantQualifier(variant: myVariant)

dwConfig.primaryContentConfiguration.variantQualifiers = [variantQf]
dwConfig.primaryContentConfiguration.mediaSelections = myMediaSelections

/* Aux content config */
let myAuxVariant : AVAssetVariant = ...
let myAuxMediaSelections : [AVMediaSelection] = ...

let auxVariantQf = AVAssetVariantQualifier(variant: myAuxVariant)

let auxContentConfig = AVAssetDownloadContentConfiguration()
auxContentConfig.variantQualifiers = [auxVariantQf]
auxContentConfig.mediaSelections = myAuxMediaSelections
dwConfig.auxiliaryContentConfigurations = [auxContentConfig]

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。