AVFoundationを用いHDRメディアをAppでエクスポート

AVFoundationを用いHDRメディアをAppでエクスポート

AVFoundationを使って、お持ちのAppでハイダイナミックレンジ（HDR）を作成し、エクスポートする方法を知ることができます。ハイダイナミックレンジ、およびお持ちのAppで有効活用する方法を学んでください。HDRコンテンツのエクスポートを可能にする特徴集合を導入し、HDRフォーマットを検査し、現在の制約を評価し、HDRエクスポートをサポートするAppleのプラットフォームを探し出します。

リソース
関連ビデオ

WWDC21
- EDRによるHDRレンダリング
ダウンロード

こんにちは WWDCへようこそ “AVFoundationを用いHDRメディアをアプリケーションでエクスポート” こんにちはケヴィン･マツムラです HDR映像をエクスポートするためのシンプルな手順をご紹介しますこのセッションでは HDR映像の基本事項とエクスポートでサポートされる HDRフォーマットについてそして AVAssetExportSessionを利用するシンプルな方法と HDRエクスポートで AVAssetWriterが提供する柔軟性について見ていきます最後に HDRエクスポートをサポートする Appleのプラットフォームをご紹介しますそれでは始めましょう HDRとは映像のダイナミックレンジすなわち明暗差の幅を SDR映像よりもさらに拡張したものですこれは輝度値の大幅な向上により実現されています
SDR映像では― 最大100カンデラ毎平方メートルに制限されていましたこの単位は“nits”とも呼ばれます HDR映像では最大10,000nitsに対応でき― ２桁大きくなります
その分白はより明るく黒はより深い色で表現されますまた HDRはコントラストが高いためシャドーはよりきめ細かくハイライトは一層はっきりしますここまでがHDRの技術的な全体像ですが HDRといえば広色域とペアで捉えられることが多いです色域はダイナミックレンジと組み合わせることでカラーボリュームを定義しますつまり表現できる色の総数が決まります
輝度と色の範囲の大きさに対応するために HDRは通常高いビット深度とも関連付けられます配信メディアでは10ビットが一般的です HDRとは要は伝達関数です伝達関数でシーンの線状の光がどのように非線形のコード値に変換され光に戻されるかを記述しますこのプロセス全体のゴールは元のシーンの意図がディスプレイまで届くよう保持することです
光－電気伝達関数（OETF）は撮影側つまりエンコード側でシーンの光をコード値にマッピングします電気－光伝達関数（EOTF）はディスプレイ側つまりデコード側でコード値からディスプレイの光へと戻します EOTFは必ずしもOETFの真逆とは限りません
HDRには２つの伝達関数が導入されましたハイブリッドログガンマ（HLG）伝達関数は SDRとの後方互換性のために設計されましたこのため HLGコンテンツは SDRディスプレイで表示できますが 100nitsを超えるピクセルは縮約されてしまいます
HLGはシーン参照ですのでエンコードされたコード値は正規化されたシーンの光に相対的です知覚量子化（PQ）伝達関数は人間の視覚系の働きを基に設計されましたこれは特にコントラストの感度について言えることですおなじみのPQ HDRフォーマットにはドルビービジョンやHDR10があります HDR伝達関数で HDR映像を分類できますが出力ビットストリームに追加情報を挿入するのは HDRフォーマットですこの追加情報によって― ここではHDRメタデータと呼ぶことにしますがエンコードされたコード値からディスプレイ光への― マッピングを向上させデコーダーのEOTFに使用してマスタリングディスプレイと使用中のディスプレイ環境との差異を調整できます HDRメタデータの内容は一般的にストリームシーンフレーム統計に分類できます
メタデータなしの HDRフォーマットの例がHLGです静的メタデータのフォーマットでは動画全体で不変のデータを追加します HDR10がその例です動的メタデータのフォーマットではデータはシーンごとに変化しますビデオフレームごとの場合もありますドルビービジョンがそうです動的メタデータを静的メタデータと組み合わせることもできます HDRはよく広色域と関連付けられると先ほどご説明しましたこの図は色域の違いを表しています最初の三角形は BT.709とsRGBの色空間を表していますこれらの色空間は元々標準画質のテレビ放送向けに開発されたものです次に大きな三角形は P3色空間ですデジタルシネマイニシアチブにより映画業界向けに提唱されました P3はBT.709よりも微妙な色彩を表現できます最後の一番大きな三角形は BT.2020ですこれはもっと多くの色を表現できます BT.2020は超高精細テレビの規格として開発されました広色域は HDR伝達関数と 10ビットフォーマットとともに生き生きとした映像で元のシーンを表現します HDRの基本を理解していただけたと思いますエクスポートがサポートする HDRフォーマットを見ていきましょう AVFoundationは HLGとHDR10フォーマットをサポートしますどちらも標準規格として一般的なディスプレイに採用されていますこのことは HDRのメリットをユーザーのディスプレイへと確実にお届けするために重要な点ですコンテンツを視聴するのが HDRをネイティブでサポートする Appleデバイス― たとえば iPhoneやiPad MacBookやiMacでもあるいは外付けの HDRモニターやテレビでもエクスポートした映像は HDRでレンダリングされますところで AppleのHDRエクスポートのサポートは専門家向けに 2017年に導入されていました具体的には Final Cut Pro Xと Compressorです今年 HDRエクスポートを開発者の皆様にも公開します HDR映像コンテンツはこれまでハイエンドのビデオカメラに限定されていました私たちは HDRコンテンツが今後さらに普及すると考えます HDRをフル活用できるツールをご提供したいと思いますそれでは主なエクスポートインターフェイスを見てみましょう皆様がよく扱うのは AVAssetExportSessionです AVAssetExportSessionは最も一般的なエクスポートのインターフェイスですファイルトランスコーデイングワークフローを使用してひとつのアセットを共有ユースケースにシンプルにエクスポートします編集したいときは AVCompositionで複数のトラックセグメントを一時的に結合するか AVVideoCompositionで空間コンポジションを実行してからエクスポートします
AVAssetExportSessionによってエクスポートがシンプルになります AVAssetExportSessionはプリセットベースですプリセットに出力エンコーディングパラメータの内容を定義しますあとは AVAssetExportSessionが処理してくれます必要に応じて色空間変換やダウンスケーリングフレームレート変換が行われます AVAssetExportSessionが提供するプリセットには― H.264 HEVC そして Apple ProResコーデック用があります各種の最大ビデオ解像度に対応するプリセットや一部のプリセットでは映像品質レベルを選択できます AVAssetExportSessionのシンプルさをコードスニペットでお見せしますまずエクスポートセッションをソースアセットとプリセットで作成しますここでは HEVCHighestQuality プリセットを選択しています次に出力ファイルの名前を URLと出力ファイルタイプとして指定しますできました最小のケースではエクスポートに必要なのはこれだけです HDR映像のエクスポートを AVAssetExportSessionで行うために何か変更する必要は？もうお分かりですね何の変更も必要ありません HEVCまたはApple ProResプリセットを使えばよいのです HEVCプリセットはソースのHDRフォーマットを保持するようアップグレードされています
たとえば HDR10ソースアセットは HDR10として HLGはHLGとしてエクスポートされ SDRソースアセットも SDRとしてエクスポートされます
Apple ProResプリセットもソースのHDRフォーマットを保持します
HDRからSDRへの変換には H.264プリセットの使用をお勧めします後方互換性も最大限に保てますコンポジションは時間空間のいずれもダイナミックレンジ形式が混在する場合に追加の処理が必要です
HDRとSDRのコンテンツが混在するケースを考えてみましょう
AVAssetExportSessionは全てのソースアセットを検査し HDRコンテンツを検索します HDRコンテンツが見つかるとエクスポートファイルはHDRにコンポジションにSDRアセットがあれば HDRに変換されます
異なるHDRフォーマットが混在する場合エクスポートのデフォルトポリシーは HLGをPQフォーマットよりも優先します AVAssetExportSessionが適切な変換を PQとHLGの間で行います
微調整が必要な場合エクスポートはメタデータありのHDRフォーマットをメタデータなしよりも優先しますご説明したエクスポートのコンポジションを見やすくするとこの表になります最初の行と列のとおり HDRはSDRよりも優先されます 2番目の行と列のとおり HLGはPQよりも優先されますこのロジックはソースアセットの数がいくつあっても拡張できます AVAssetExportSessionで開発者のニーズの多くが満たされるでしょうしかしいつもそうとは限りませんそこで AVAssetWriterの出番です AVAssetWriterで一般的な２つのワークフローを説明します
最初のワークフローは AVAssetReaderでサンプルを読み込みます編集は AVCompositionや AVVideoCompositionでしておきます AVAssetWriterでエクスポートします
次のワークフローは AVAssetWriterを使ってカメラで撮影したフレームをエクスポートするアプリケーションです AVAssetWriterを使えばエクスポートプロセスを完全に制御できますビデオコーデックは明示的に指定できます使用するビットレートエクスポートする映像のフレームレートビデオフレームの正確なサイズ色空間やダイナミックレンジもです複数のビデオエンコーダーのあるMacではどのビデオエンコーダーを使用してエクスポートするかも指定できます
もちろんこれが全てではありませんがよくあるパラメータの設定について理解していただけるかと思います AVAssetWriterは多くの制御を提供しますがここでは設定プロセスをシンプルにできる２つの方法をご説明します AVAssetWriterを呼び出す最もシンプルなコードスニペットですまず AssetWriterを出力URLとファイルタイプで生成します次に outputSettingsディクショナリが必要ですこれがエクスポートの全てを制御しますただしここで使用する AVAssetWriterInputインターフェイスは sourceFormatHintをソースのvideoFormatDescriptionの形式で取りますこの場合 outputSettings ディクショナリの唯一の必須キーはビデオコーデックタイプです AVAssetWriterは残りのパラメータの適切なデフォルトをヒントの中のソースのvideoFormatDescriptionに基づき構築します次のコードスニペットでは AVAssetWriterを AVOutputSettingsAssistantで設定する方法を示します AVOutputSettingsAssistantは選択可能なプリセットを提供します AVAssetExportSessionと同じですプリセットのテンプレートディクショナリを直接使うかもしくは― これを元に AVAssetWriterInputを設定します
ここでは HEVC1920x1080サイズのプリセットを選択していますまた強くお勧めするのがソースの― videoFormatDescriptionを “settingsAssistant”に設定してから videoSettingsを取得することです sourceVideoFormatにより AVOutputSettingsAssistantはソースの特性をプリセットと結合できますこれで返される設定は AVAssetExportSessionのエクスポートと非常によく似たものになりますこれらの設定で十分な可能性が高いですその場合設定をそのまま AVAssetWriterInputに渡しますしかしここで設定を変更したいこともありますたとえば出力ビデオサイズやビットレートの変更などですそれでは各種キーについて AVAssetWriterInputの outputSettingsディクショナリ内で HDRに関連するキーをご説明します設定で考慮する３つのキーがあります HDRを扱うときに必要ですビデオコーデックカラープロパティ圧縮プロパティですそれぞれ詳しく見ていきましょう AVVideoCodecKeyです AVFoundationでHDRのコーデックは HEVCとApple ProResです HEVCはHDRで非常によく使われる配信フォーマットです HEVCは圧縮効率が高く扱いやすいファイルサイズにエクスポートされます Apple ProResは中間ファイル形式で専門的なビデオワークフロー用です AVVideoColorPropertiesKeyは３つのキーを持つディクショナリです伝達関数カラープライマリ YCbCrマトリックスです伝達関数はすでにご説明しました HLGとPQ ２つの HDR伝達関数がサポートされます
ColorPrimariesKeyは通常広色域フォーマットに設定します HDRコンテンツでは BT.2020が一般的です
YCbCrMatrixKeyは色表現を YUVとRGBの間で変換する方法を表します BT.2020非定輝度が HDRで一般的に用いられます
AVVideoCompressionPropertiesKeyは出力設定で変更するほとんどのキーを含むディクショナリです HDRに関係する唯一のキーが VideoProfileLevelKeyです HEVC_Main10_AutoLevelに設定することが HEVCコーデックでの HDRエクスポートには必須です８ビットHEVC HDRはサポートされません ProResエクスポートにはこのキーを適用できません
ここまでの設定方法をまとめてみます一般的なHDRフォーマットに出力するキーの設定です HLGとHDR10の２種類ですこの表は HLGファイルのエクスポートに関係するHDR設定を示しますコーデックはHEVC またはApple ProResとしますカラープライマリとYCbCrマトリックスは任意に指定できますが通常は両方とも ITU_R_2020に設定します HLGファイルを出力するので伝達関数はもちろんHLGです HEVCコーデックとした場合は ProfileLevelを HEVC_Main10_AutoLevelにします HDR10をやってみましょうこちらは少々複雑です先ほどと同様コーデックタイプは HEVCまたはApple ProResです HDR10は一般的に HEVCベースですが ProResアセットの定義にも HDR10を使います MasteringDisplayColorVolumeと ContentLightLevelInfoを指定しますもう少し見てみます HLGのケースと同じくカラープライマリとマトリックスは通常 ITU_R_2020に設定します伝達関数はPQにしなければなりませんここでも ProfileLevelを HEVC_Main10_AutoLevelとして HEVC HDR10エクスポートを行います
最後に HDR10では２つのオプションキーも指定することをお勧めしますこれらのキーをご説明しますマスタリングディスプレイカラーボリューム（MDCV）はコンテンツがマスタリングされたディスプレイを記述するものですコンテンツ光レベル情報（CLLI）は動画全体の光レベルについての情報を提供します
両方とも値を指定するのが理想的ですデコーダーのEOTFでより正確に HDRレンダリングできます指定しなければデコーダーのEOTFはデフォルトを使用しますので意図に沿わないかもしれません MDCVとCLLIの SEIメッセージフォーマットはこちらの参照ISO規格で定義されていますここで HDRエクスポートをサポートする Appleプラットフォームについてお話しします iOSはHEVCハードウェアエンコーディングをサポートします Apple A10 Fusionチップ搭載デバイス以降です幸い A10デバイスは発売からしばらく経過しています 2018年にリリースされた iPhone 7やiPadまで対象です 2019年のiPod touchもそうです
Macについては HEVCとApple ProResソフトウェアエンコーダーが全てのMacで利用できます HEVCハードウェアエンコーディングは通常では新しいmacOSが動作する 2017年以降のMacで利用できますハードウェアエンコーディングではエクスポートが大幅に速くなりますそれではまとめに入ります今回は HDRについての概要と HDRの設計よって元のシーンの意図が保持されディスプレイに届くことを見てきました高ダイナミックレンジにより HDR映像はより明るい白とより深い黒繊細なシャドーとハイライトを表現します HDR映像のメリットを全て活かすために生き生きとしたHDRコンテンツのままエクスポートしなければなりません手順はシンプルです他のエクスポートと同じく AVAssetExportSessionまたは AVAssetWriterを使用します HEVCかApple ProResコーデックまたはプリセットを選択します
AVAssetWriterでは伝達関数を HLGまたはPQにすることをお忘れなくビデオプロファイルレベルを明示的に HEVC_Main10_AutoLevelにセットし HEVC HDRエクスポートを行います最後は広色域の使用ですなるべくITU_R_2020にします HDRに関する補足情報はこちらですなお本セッションと連携するセッションでは HDRの編集と AVFoundationでの再生を扱います
ご視聴ありがとうございました引き続き WWDC 2020をお楽しみください

// AVAssetExportSession code snippet

guard let exportSession = AVAssetExportSession(asset: sourceAsset,
                      presetName: AVAssetExportPresetHEVCHighestQuality) else {
	// Handle error
}

exportSession.outputURL = outputURL 
exportSession.outputFileType = AVFileTypeQuickTimeMovie 

exportSession.exportAsynchronouslyWithCompletionHandler {
	// Handle completion 
}

13:24 - AVAssetWriter with sourceFormatHint

// AVAssetWriter with sourceFormatHint

let assetWriter = try AVAssetWriter(url: outputURL, fileType: AVFileTypeQuickTimeMovie)

let outputSettings: [String: AnyObject] = [
			AVVideoCodecKey: AVVideoCodecTypeHEVC
		]

let assetWriterInput = AVAssetWriterInput(mediaType: AVMediaTypeVideo,
                                     outputSettings: outputSettings
                                   sourceFormatHint: videoFormatDescription)

assetWriter.add(assetWriterInput)

guard assetWriter.startWriting() else {
	throw assetWriter.error!
}

14:13 - AVAssetWriter with AVOutputSettingsAssistant

// AVAssetWriter with AVOutputSettingsAssistant

let assetWriter = try AVAssetWriter(url: outputURL, fileType: AVFileTypeQuickTimeMovie)

let settingsAssistant = AVOutputSettingsAssistant(
                                     preset: AVOutputSettingsPreset.hevc1920x1080)

settingsAssistant.sourceVideoFormat = videoFormatDescription

let newVideoSettings = settingsAssistant.videoSettings

// Modify a few fields in newVideoSettings here

let assetWriterInput = AVAssetWriterInput(mediaType: AVMediaTypeVideo,
                                     outputSettings: newVideoSettings)

assetWriter.add(assetWriterInput)
guard assetWriter.startWriting() else {
	throw assetWriter.error!
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC21