プロダクトページの最適化の活用

Seema Vora：本日は プロダクトページの最適化に関する セッションにご参加いただき ありがとうございます

クパティーノのApp Store Monetizationチームに 所属するSeemaです Cailin Arena： App Store Operations チームのCailinです Seema：今日はまず App Storeのプロダクトページを 最適化する機能の 概要を説明します その後 Cailinが App Store Connectで プロダクトページ最適化のための テストを設定する方法を 説明します その後 この機能を最大限に活用するための テストの戦略を紹介します それでは 早速始めましょう App Storeのプロダクトページの 最適化とは何でしょうか？ プロダクトページの最適化とは App Store全体で アセットを最適化する機能であり App Storeの コンバージョンファネルを 向上させるための 新しい方法です 毎週 6億人以上の人々が App Storeにアクセスしています この数字について よく考えてみると

多くのユーザーにAppやゲームを紹介し ダウンロードを促す 絶好の機会が そこにあることがわかります Appleがプロダクトページを 最適化する機能を設計したのは 皆さんにこの機会を最大限に 活用していただけるようにするためです App Storeにアクセスするユーザーは 「App」「ゲーム」 「Today」の各タブを閲覧したり 「検索」タブで特定のAppを 検索したり ソーシャルメディアの投稿や 有料広告といった 外部のリファラルリンク経由で アクセスしたりしています

プロダクトページを 最適化する機能により 異なるバージョンのプロダクトページの アセットをテストして App Storeのユーザーに Appやゲームをダウンロード または再ダウンロードしてもらうのに どのアセットが最も効果的かを 知ることができます

要約すると この機能の概要は 次の通りです Appアイコンや様々なスクリーンショット プレビュービデオをテストできます トリートメントが表示される トラフィックの割合を 最大3つのトリートメントに対して 選択できます また 特定のローカリゼーションを選択して テストを実行することもできます プロダクトページのテストアセットを Appバイナリを審査に提出するのとは別に 独立して審査に提出することができます ただし Appアイコンだけは テストするバージョンのバイナリに 含める必要があります

この機能の重要な点について 「Mountain Climber」 というサンプルAppを使って 説明したいと思います これは Mountain Climberの オリジナルのプロダクトページです プロダクトページの最適化ツールで テストできる要素は ご覧の通りAppアイコン プレビュービデオ スクリーンショットです ページ上のその他すべての要素は オリジナルページと トリートメントページの 両方に通常通り表示され テストの対象とはなりません ページの上部にバナーを 設置していたり ページ内でApp内イベントを 紹介していたりする場合 それらはオリジナルページと トリートメントページの 両方に表示されます プロダクトページ最適化のための トリートメントは iOS 15およびiPadOS 15以降を 使用しているユーザーに対して App Store全体で表示されます App Store全体で一貫した 体験を提供するために アイコンのトリートメント つまりテストするアイコンは ユーザーがApp Storeを 閲覧したときに表示されます 左の「Today」タブのようにです アイコンのトリートメントは 「検索」タブにも そしてもちろんプロダクトページ にも表示されます スクリーンショットや プレビュービデオを テストする場合は それらのトリートメントが 検索結果やプロダクトページに 表示されます テストの期間中 ユーザーには App Store全体で 同じトリートメントが表示されます

このような一貫した体験 という考え方に基づき 別のAppアイコンを使った テストを行っているときに 誰かがこのトリートメントから Appやゲームを ダウンロードした場合には このトリートメントで使われた Appアイコンが そのユーザーのデバイスに表示されます どのような最適化にも言えることですが どのトリートメントが 最も効果的かを理解するには 分析が必要です AppleはAppアナリティクスを拡張し プロダクトページ最適化のための 新しいダッシュボードを用意しました これにより どのトリートメントが 最も効果的かを特定するのに役立つ データを確認することができます この機能の一環として Appleは実行中のテストを 継続的にモニタリングできる 独自の方法を開発しました これは 決定を下すべき状況や テストを中止すべき状況を いつでも正確に把握できることを 意味します ユーザーインターフェイスには テストが進行していく中で 分析の指針にできる 指標が用意されています これらの指標は トリートメントのパフォーマンスが オリジナルのプロダクトページに比べて 高いか低いか あるいは判断を下すには さらにデータが必要かどうかを 教えてくれます Appアナリティクスの詳細については このプレゼンテーションで 後ほど説明します

では このプロダクトページの 最適化の機能は デベロッパにとって どのようなメリットがあるでしょうか？ まず この機能を念頭に設計した 新しい審査への提出フローにより 提出プロセスを合理化しました これによりApp Store Connectで プロダクトページのテストアセットを Appバイナリとは別に独立して提出し 審査を受けることができます ただし Appアイコンだけは テストするバージョンのバイナリに 含める必要があります プロダクトページの最適化ツールでは パフォーマンスがより 高いクリエイティブを 可能な限り 簡単に適用できるようになっていて 高パフォーマンスのスクリーンショットや プレビュービデオを App Store Connectの中で 適用することができます Appアナリティクスの 刷新されたツールにアクセスし ユニークインプレッション数 コンバージョン率 テストのパフォーマンス結果といった メトリックスをモニタリングすることで データに基づいた意思決定を 下すことができます このように この機能はデベロッパに メリットをもたらし App Storeのネイティブ環境で テストできるという ここでだけ可能な機会を与えてくれます Appleは プロダクトページの 最適化テストの設定に役立つ 強力なツールセットを用意しました では ここからはCailinと交代して App Store Connectで この機能を実装する方法を紹介します Cailin：ありがとう Seema テストの設定方法の ウォークスルーを始める前に Appが「配信準備完了」な状態になっていて Account Holderか Adminか Marketing あるいはApp Managerの いずれかの役割を持っていることを 確認してください

まず 左のナビゲーションで 「機能」サブセクションの 「プロダクトページの最適化」 をクリックします 次に「テストを作成」をクリックして テストの設定を開始します ここでは まず基本的な情報を入力します 最初に入力するのは参照名で これはこのテストを今後識別するために 設定する名前です

この例では 「Preview Video A/B Test」 という名前にします 次に トリートメントの数を選びます 最大で3つのトリートメントを 設定することができます この例では1つにしておきます 「トラフィックの割合」では デフォルトのプロダクトページの代わりに テストのトリートメントがランダムに表示される ユーザーの割合を指定します 例えば テストに3つの トリートメントがあり トラフィックの割合を30%に 設定した場合 各トリートメントは 全体のトラフィックの10%で それぞれ表示されます この例では トリートメントを 1つにしたので 1〜50%の範囲内から どれでも選択できます できるだけ短い期間で 有意義な成果が得られるように 50%を選択してみましょう ローカリゼーションの場合は Appのローカリゼーションの 1つのサブセットのみに対して このテストを実行するオプションがあります できるだけたくさんのユーザーが テストに参加できるよう ここでは すべてのローカリゼーションが 選択された デフォルトのままにしておきます ここで「テストの所要時間を推定」 セクションを開くと このテストの推定所要期間を 任意で取得することができます この推定期間は 過去1週間におけるAppの プロダクトページのパフォーマンスと 信頼度90%の目標しきい値に 基づいて計算されます 「改善率」の値を選択するだけで 推定期間を取得できます

例えば 5%を選択した場合 必要なインプレッション数と そのインプレッションを 獲得するための推定期間が 先週のパフォーマンスに基づいて 計算されます このケースの場合 オリジナルの プロダクトページに比べて 5%の改善効果があるという結論を 90%の信頼度で得るためには 約174,404回のインプレッション あるいは約2週間の期間が必要だ ということがわかります これを確認した後 「テストを作成」ボタンをクリックします これで トリートメントの設定が できるようになります デフォルトでは トリートメントの名前は 「Treatment A」となりますが これは任意の名前に編集できます 作成したトリートメントは オリジナルのページと まったく同じものとして始まります 同じアイコン スクリーンショット およびプレビューのビデオが設定されます このケースでは 今のところ Mountain Climber Appに プレビュービデオがありません そこで 該当するデバイスサイズごとの プレビュービデオを トリートメントAに追加して 「テストを開始」をクリックしてみます

そして「審査用に追加」をクリックします

ここでは 提出の確認画面が表示され 審査に使用されるAppのバージョンと 審査される項目が表示されます この提出に他の項目を 追加することもできますが この例では 「App Reviewに提出」をクリックして このテストだけを送信することにします これで テストが App Reviewに提出されます テストで使用されるすべてのメタデータは 使用前にApp Reviewによって 承認されなければなりません メタデータが承認される前に テストを開始しようとすると テストは開始されません 代わりに そのメタデータが 審査に提出する項目として 追加されます そのプラットフォームへの提出物が すでに審査中の場合は 最初の提出物の審査が完了するまで 次のテストを審査に出すことが できませんので ご注意ください プロダクトページの最適化に話を戻すと テストのステータスは最初 「審査中」と表示されます App Reviewが新しいアセットを承認すると ステータスが自動的に 「実行中」に更新され テストの実行経過時間が表示されます このとき「アナリティクスを表示」を クリックすると Appアナリティクスに移動できます ここでは テストの状況を 見ることができます 上部にオリジナルのページと トリートメントのページの コンバージョン率 そして下部にはコンバージョン率の トレンドチャートが表示されます テストが十分なインプレッション数に 達して90%の信頼度が得られると ダッシュボードに各トリートメントの パフォーマンスが表示されます この例では 十分なデータが 収集された結果 トリートメントAの方が パフォーマンスが高く オリジナルのページの コンバージョン率に比べて 1.9%の改善が見られています この時点で オリジナルのプロダクトページに トリートメントAを 適用したいと思うかもしれません そうするには 左下の 「マイAppで表示」をクリックして テストに戻ります

ここで「トリートメントを 元のプロダクトページに適用」 をクリックすると プレビュービデオが追加されます トリートメントを App Storeで 公開されているバージョンに適用するか 「提出準備中」に 別のバージョンがある場合は そのバージョンに適用するかを 選択することができます その後 「トリートメントを適用」を クリックします これで トリートメントに設定していた プレビュービデオが App Store上のバージョン3.1 に対して公開され こちらのバージョン3.2にも 適用されました Appアイコンのテストを 実行したい場合は そのAppで バイナリに 複数のアイコンが入った テストを作成する必要があります バイナリに複数のアイコンが 含まれているAppの場合は トリートメントの設定ページに 「Appアイコン」タブが表示されます そして「変更」をクリックして 別のアイコンを選択します 現在App Storeで 公開しているバージョンの Appバイナリに含まれる すべてのAppアイコンが ドロップダウンに表示されます 別のアイコンをバイナリに含めるには アセットカタログで代替アイコンを 設定する機能に対応した 最新のSDKを含むXcode 13以降を 使用する必要があります ここで「テストを開始」をクリックすると App Reviewを経ずに テストを開始することができます 現行バージョンのバイナリに 含まれているアイコンは すでに審査されているためです Appアイコンを設定したトリートメントを プロダクトページに導入する際は Appの新しいバージョンを 作成して送信する必要があります 最後の点ですが App Store Connect APIは プロダクトページの最適化機能を 自社システムと統合したい場合に 非常に便利です このAPIを利用すると App Store Connectの Webサイトの外で行う テストの作成と管理を 自動化することができます では Seemaと交代して プロダクトページのテスト戦略において これらの方法をどのように 組み合わせることができるか紹介します Seema：ありがとう Cailin Cailinが述べたように ここからはテストの戦略について 説明したいと思います プロダクトページ最適化のための テストや実験を計画する際には 戦略を考える必要があります

他のあらゆるマーケティングと同様に まずはファネルの最上位から分析します これは App Storeファネルの トラフィックミックスです テストの戦略を考える際は このトラフィックミックスを 念頭に置くことが大切です テストプランを作成する際に重要なのは 最適化の取り組みは一度だけで 終わるわけではないということです 最適化はイテレーションによる 継続的なプロセスです テストを作成する際には どのアセットが最も重要かを 考えることから始めましょう 最適なアイコンを見極める 必要がある場合もあれば プレビュービデオを追加することが 最適化になる場合もあります テストを構成する際には テストのバリエーションに 十分な差異を設けて パフォーマンスの違いが 発生するようにしてください 多くの場合 わずかな違いでは 明確な結果は得られません また すべての実験で 良い結果が出るとは限りません その場合は テストプランを 見直し 再度テストを行います テストのパフォーマンスを分析し続けて 最も効果的なトリートメントを 見つけ出すようにしてください 結論が出たら その結果を次のステップに活かし パフォーマンスがより高いクリエイティブで プロダクトページをアップデートします プロダクトページの最適化ツールを使えば スクリーンショットや プレビュービデオを テストの終了後にそのまま App Store Connect上から 更新できるので プロダクトページを 簡単に最適化できます では プロダクトページの最適化の テストを効果的に計画できるよう アセットのテストについて 例を使って紹介したいと思います まず 機能別のテストについて説明します 例えば 新機能を紹介する スクリーンショットよりも 既存の機能のスクリーンショットを テストした方が コンバージョン率が高まるでしょうか？ あるいは 例えば フィットネスのAppであれば 主要な価値提案を強調することで コンバージョン率が 向上するでしょうか？ テーマ別にテストしてみるとよいでしょう 季節限定のコンテンツを 試してみたいという声を よく聞きますが アイコンやアセットに季節性を持たせて アップデートすることで ダウンロードのコンバージョン率が 向上するかどうかを テストすることができます キャラクターや新しいコンテンツごとに テストすることもできます 例えば エンターテイメントの Appでは 従来のコンテンツよりも 新しいコンテンツを紹介した方が パフォーマンスが高いかどうかを テストすることができます そして最後に パターンの異なる クリエイティブをテストすることができます これは繊細な違いを扱いますが 大きな効果を発揮する場合があります 例えば プレビュービデオを 追加することで ダウンロードのコンバージョン率が 向上するでしょうか？ あるいは スクリーンショットの 背景色を変えて どの背景色が最も効果的かを 調べるなど カラーバリエーションのテストを することもできます こうした例を参考にして プロダクトページのトリートメントを プランニングしてください ここまでで アセットテストの アイデアについて説明してきましたが テストプランを作成する上で重要な 考慮事項をいくつか紹介します まず トラフィックの割合です これはプロダクトページのアセットの トリートメントバージョンが ランダムに表示される人の割合です この割合を オリジナルの プロダクトページとトリートメントに どのように配分するかを考えます トリートメントにトラフィックを 配分する際は コンバージョン率を意識してください 新しいトリートメントのパフォーマンスに 懸念がある場合には 比較対象となる オリジナルのプロダクトページに 配分するトラフィックの割合を より高く設定するとよいでしょう なお オリジナルのプロダクトページよりも 高い割合のトラフィックを トリートメントに配分することは できません 別の考慮事項として アセットやトリートメントの プランニングがあります テストに含める プロダクトページのアセットと 作成するトリートメントの数を 考えてください 効果的だったテストとそうでなかった テストを正確に把握できるように アセットは1つずつ テストすることをお勧めします なお 1つのテストにつき 最大3つの トリートメントを作成できます そして ローカリゼーションです プロダクトページの最適化機能には 特定のローカリゼーションに対する テストを行うことができます Appやゲームの市場への 展開を拡大したいと考えている地域など

テストに含める価値がある ローカリゼーションは何かを 考えてみましょう ただし そうした地域からの トラフィック量に 留意する必要があります それによって テストで有意義な結果が 得られるまでに必要な期間が 少し長くなる可能性があるためです 最後に テストの期間について 考えてみましょう App Store Connectで テストを設定すると テストに必要な期間の推定が 過去1週間におけるAppの プロダクトページのパフォーマンスと 信頼度90%の目標しきい値に 基づいて計算されます 「改善率」の値を選択するだけで 推定期間を取得できます それで これらの点に留意しつつ プロダクトページの最適化の効果を 最大限に高められるような テストをプランニングしてください

では いくつかのサンプルテストを 見てみましょう デベロッパとしての私の テストプランのサンプルを紹介します このテストプランのサンプルには テストのタイトル テストの説明 仮説 トリートメントの数 予想されるトラフィックの割合 どのローカリゼーションに テストを適用するかなどが含まれています 最初のサンプルテストはアイコンの カラーテストで Appアイコンの3つの バリエーションのパフォーマンスを オリジナルと比較したいと思います アイコンは世界共通なので すべての地域で テストすることにします ここでの仮説は 明るいアイコンの方が パフォーマンスが高いのでは？ ということです 2つ目のサンプルテストでは 日本市場向けにローカライズされた プレビュービデオをテストします ここでの仮説は 市場に合ったアセットを使うことで コンバージョン率が高まるというものです これは特定の市場だけを 対象としたテストなので ローカリゼーションは 日本語のみを選択します 3つ目のサンプルテストは 別パターンの スクリーンショットをテストするもので キャラクターに焦点を当てたビジュアルで パフォーマンスが高まるかどうかを確認します 今回は プロダクトページの トラフィックの40%を トリートメントに割り当て 60%を 比較対象となる オリジナルのプロダクトページに 割り当てたいと思います では 最初のテストを 詳しく見てみましょう これはアイコンのカラーテストで 3つのトリートメントによって アイコンのカラーバリエーションをテストし すべてのローカリゼーションで トリートメントに30%の トラフィックを配分します 例えば 私たちがゲームのデベロッパで 「The Coast」というゲームの アイコンをいろいろなパターンで試したいと 思っているとしましょう オリジナルのプロダクトページは こんな感じです 左側には先ほど見た オリジナルのトリートメントが そして右側には 今回のテスト用に作成した アイコンの色がそれぞれ異なる 3つのトリートメントが 表示されています 先ほどのテストプランにあったように これらのトリートメントを App Storeのトラフィックの30%で 表示することにしました つまり 3つのトリートメントがそれぞれ トラフィック全体の10%を占め オリジナルがトラフィック全体の 70%を占めることになります テストのメタデータが App Reviewで承認されると テストが開始されます では テストの実行中 Appアナリティクスの表示が どのようになるかを見てみましょう

まずは 結果のダッシュボードです 上部には テストの名前 テストの開始日 テストの現在のステータスが 表示されています その下にあるのは テストのパフォーマンスの概要で オリジナルのプロダクトページと テストに含まれる各トリートメントの コンバージョン率が表示されます 「コンバージョンレートのトレンド」 チャートは テストの進捗状況を 時系列で可視化したものです テストのデータが蓄積され 最も効果性の高いトリートメントの 判断が始まるにつれて 自然にグラフが形成されていきます 下部には テストの詳細が表示され 各トリートメントの ユニークインプレッション数や コンバージョン率 「ベースライン」とも呼ばれる オリジナルのプロダクトページ に対して 各トリートメントで達成された 改善率 そして結果の信頼度が 確認できます 最初の7日間は 信頼度が表示されませんが これは その日ごとのばらつきを 考慮した上で結果を出すことを 目的としています テストで7日以上が経過すると 信頼度の指標が表示されるようになります このテストでは トリートメントAがベースラインを 上回ることの信頼度は72% トリートメントBがベースラインを 上回ることの信頼度は58% そしてトリートメントCが ベースラインを上回ることの信頼度は 非常に低いということがわかりました 結果の信頼度が90%に達するまで これらのトリートメントには 「データを収集中」と表示されます トリートメントの信頼度が90%に達すると 各トリートメントの下に 関連する指標が表示されるようになります 例えば テストのこの時点で トリートメントBは少なくとも 90%の信頼度で ベースラインよりも低いパフォーマンスを示し トリートメントAはより高い パフォーマンスを示しています また トリートメントCはベースラインに 近いパフォーマンスを示しているため このままのペースで 結果が蓄積されていった場合 90日のテスト期間内に 有意な差を検出することは できないと考えられます すべてのトリートメントで このステータスが表示された場合は テストを終了して もう一度やり直すことをお勧めします テストステータスの指標は Appアナリティクスに 新たに追加されたものなので それぞれの指標の意味を 確認してみましょう オリジナルのプロダクトページは デフォルトでベースラインになり 他のすべてのトリートメントの 比較対象となります 「データを収集中」とは そのトリートメントがベースラインよりも 90%以上の信頼度で パフォーマンスが高い/低いかどうかを まだ判断できないということです 「より高いパフォーマンスが見られます」 とは 90%以上の信頼度で トリートメントがベースラインよりも 高いパフォーマンスを 達成していることを意味します 「より低いパフォーマンスが見られます」 とは そのトリートメントがベースラインよりも 90%以上の信頼度で低いパフォーマンスを 示していることを意味します また 「不確定のようです」とは 90日という制限の中で 判断を下すのに十分なデータが 得られていないことを意味しています

トリートメント同士を比較したい場合は ベースラインを変更することができます 例えば ここを操作すると それぞれのバリアントを トリートメントAと比較することができます この場合 各バリアントは 90%以上の信頼度で トリートメントAよりも 低いパフォーマンスを示しています つまり トリートメントAこそ 効果の最も高いトリートメントだ ということを確信できるわけです では 元のプロダクトページを ベースラインとしたアイコンテストに戻ります テスト名をクリックすると 現在のテストと過去のテストを 簡単に切り替えることができます また グラフや表のデータを CSVで書き出して 自分でデータを分析することもできます 結果についてさらに詳しく知りたい場合は コンバージョン率の上にカーソルを置くと コンバージョン率の範囲が表示されます これは 各トリートメントで 達成できると推定される 数値の範囲を示すものです この情報は 結果をより深く理解するのに 役立ちます

最後に パフォーマンスの高い トリートメントを デフォルトのプロダクトページへと 昇格させる準備ができたら 下部のリンクをクリックして 「マイ App」に戻ります 以上で アイコンテストのサンプルの 説明は終わりです Appアナリティクスでの 結果の解釈と評価について 確認できました プロダクトページの最適化機能について 理解が深まり 皆さんご自身でも テストを開始していただけるように なったことと思います 最後に テストプランを実行する際に 注意すべき点をいくつか紹介します まず 統計的有意性に達してから 行動するようにしてください テストの初期段階でのデータや 数値の些細な増減に基づいて 結果を適用しないようにすることは重要です すでに説明した通り App Store Connectでは トラフィックの配分と 現在のコンバージョン率に基づいて テストの所要期間が表示されます 早い段階で結果を適用したいという 衝動に駆られることもありますが テストが統計的に有意になるまでは 結論を出さないことが重要です そうすることで 最終的に選んだ結果が コンバージョン率に プラスの影響を明確に与えると 断言できるようになります 次に テストするトリートメントを 比較対象に対して 十分な違いがあるものにしてください そうしないと 決定的な結果が 得られない場合があります そして テストを効果的に実行できるよう 設定していることを確認してください 文化に合わせたアセットや 地域ごとのアセットを 適切なローカリゼーションに 適用しているかどうかを相互に確認し それらのローカリゼーションからの トラフィックが 90日のテスト期間内に 結果を出すのに 十分な量であるかどうか テストの予想所要期間を確認します テストプランを実行する際は これらのことを念頭に置いて プロダクトページの最適化テストで 遅延や問題が発生しないようにしてください

さらに詳しい情報を知りたい場合や 今日説明した内容の 資料を参照したい場合は Apple DeveloperのWebサイトに アクセスしていただければ 優れたリソースを いつでも参照することができます Apple DeveloperのWebサイトには 最適化の機能に関する役立つ情報や テストを設定する際の注意点が 掲載されています テストを開始したら コンバージョンの新たな目標や コンバージョン率を改善できる部分を 継続的に確認することをお勧めします 以上で 本日の プロダクトページの最適化に関する セッションを終了します 皆さんがこの機能を使って App Storeでのコンバージョン率を 向上していかれることを 楽しみにしています ご視聴ありがとうございました