プロダクトページの最適化の最大限の活用

こんにちは Seemaです App Store Business Managementチームの所属です 本日はApp Storeの プロダクトページの最適化を 最大限に活用する方法について 紹介します 今日のプレゼンテーションは この機能の概要を理解されていて App StoreでのAppやゲームの パフォーマンスの 継続的な改善を目指している方を 対象としています

「プロダクトページの最適化の概要」 というセッションの続編です

プロダクトページの最適化を 利用したことがなく 詳細を知りたいという方は 「プロダクトページの最適化の概要」 をまずご覧ください Apple Developer Webサイトで ご視聴いただけます

まず App Storeの プロダクトページの最適化について 簡単におさらいします

次に この機能を使用したデベロッパの 成功事例をいくつか紹介します

最後に この機能を使用し続ける上で 覚えておくべきポイントを いくつか説明します

簡単なおさらいから始めましょう

プロダクトページの最適化は App Storeの機能の1つです オリジナルのプロダクトページの アセットに加えて 最大3つの代替トリートメントを テストすることができ 対象のオーディエンスにとって最も 訴求性の高い要素を特定できます

App Store全体での プロダクトページアセットを データに基づいて最適化できるので Appやゲームの ダウンロードや再ダウンロードを ユーザーに促す上で 何が最も効果的なのかがわかります

トリートメントは プライバシーに配慮して トラフィックソース全体から ランダムに選ばれた 一定の割合のユーザーに表示されます

特定のトリートメントは Today ゲーム Appの各タブ および検索タブで関連する検索結果を ユーザーが閲覧する際に表示されます

ソーシャルメディアの投稿や 有料広告などの 外部の参照リンクからApp Storeに アクセスしたユーザーにも トリートメントが 表示されることがあります

以上がこの機能の概要です Appアイコンや 様々なスクリーンショット Appプレビューをテストできます

作成できるトリートメントは 最大3つです

トリートメントが表示される トラフィックの割合を選択して 特定のローカリゼーションを 指定した上で テストを実行することもできます

さて この機能を使う場合は プロダクトページのテストアセットを Appバイナリとは別に 単独で審査に提出できます

どの最適化機能でも同様ですが テストごとのパフォーマンスを 把握するには 分析が必要です

Appアナリティクスで テストの状況を確認できます これは「プロダクトページの 最適化」セクションにあります 「プロダクトページの最適化」 ダッシュボードには テストの進捗に応じて 分析に役立つ指標が表示されます これらの指標は トリートメントのパフォーマンスが オリジナルのプロダクトページに比べて 高いのか低いのかが 90%以上の信頼度で示されます

テスト結果の信頼度90%とは どのような意味でしょうか これは 10回試行すれば 10回のうち9回以上が 同様の結果になることを意味します つまり ベースラインとの差分は 偶然によるものではない ということです テストの実行中も 継続的にモニタリングできる 独自の手法が採用されているため 意思決定に十分なデータが収集された タイミングを特定できます

また テストはいつでも終了できます

「プロダクトページの最適化」 ダッシュボードでは データに基づく意思決定に 必要な情報を得ることができ ユーザーのコンバージョンに 最も寄与する トリートメントを特定できます

ここで重要なことは プロダクトページの最適化のテストは 1度で終わりではないことです 継続的にこのサイクルを 繰り返す必要があります

サイクルを繰り返すとは 最適化のループを継続して試みることで Appのコンバージョン率を 改善し続けることです

最適化のループの一環として おすすめする ステップがいくつかあります

多くの場合 テストではまず 調査を行います 内部の使用状況データの確認や 顧客調査 市場調査などです

次に 仮説を立てます 調査の実施後に仮説を立てることで 実施すべきテストや テストでの期待事項を 判断するのに役立ちます

調査と仮説をもとに テスト用に作成するアセットを 決定します

アセットの準備ができたら テストを実施します ここで アセットを App Store Connectに アップロードして 審査用に提出します

次は 結果の分析です テストの実行中および終了後に Appアナリティクスで 結果を確認できます

結果をもとに いずれかのトリートメントを プロダクトページに適用するか 元のページを維持するかを判断します

結果をもとに 次のステップを判断し 一連のプロセスを繰り返します

ここでは推奨されるステップを 説明しましたが これがあらゆるケースに 適しているとは限りません

例えば 1度のテスト結果で 次のテストに向けた調査が 不要になる場合もあるでしょう 仮説を立てる段階から始めるのが 適している場合もあります この最適化のループを念頭に テストを実行し サイクルを繰り返しながら テストする領域を増やしていきます

それでは この機能を活用するための テストのテーマとそれぞれの事例を 見ていきましょう デベロッパはプロダクトページの アセットの最適化にあたり 様々なテーマでテストを実施します 一般的なものを紹介しましょう デベロッパはプロダクトページの アセットについて 様々なクリエイティブのデザインや ブランド表示の有無をテストします

季節限定コンテンツのテストも テーマとして一般的です これは季節限定のアセットによる コンバージョンへの影響を 適時判断するテストです

スクリーンショットの並べ替えでは どのスクリーンショットの コンバージョン率が高いかを判断します

ほかにも スクリーンショットやAppプレビューで 縦向きと横向きの どちらが効果的かを 判断するテストも一般的です スクリーンショットのコールアウトの テストでは コンバージョン率が高い コールアウトやテキストを 判断します

アセットタイプごとのテストも一般的です Appプレビューがある方が コンバージョン率が高くなるのかを 確認するテストです

これらは一般的なテストで ほかにも様々なテストがあります

この中で特に使用頻度の高いものを 取り上げて それぞれの成功事例を紹介します 最初はAppアイコンのデザインで ブランディングのテストの事例です 2番目はスクリーンショットを使用した 季節限定コンテンツのテスト事例です

3番目はAppプレビューなどの アセットタイプのテスト事例です

最初の事例は「Peak Brain Training」です PopReachというデベロッパが開発した

脳を鍛えるトレーニングの フリーミアム型教育Appで メンタルスキルを強化し 挑戦する意欲を高める ゲームを提供しています デベロッパであるPopReachは Appアイコンをテストして コンバージョン率の高いクリエイティブを 見つけようと考えました

ロボットのキャラクターの方が オリジナルよりも コンバージョン率が高いだろうという 仮説を立てました 44日間テストを実行し テスト中のトリートメントごとの インプレッション数は 平均154,000でした

ここで 期間と トリートメントごとの インプレッション数を示したのは テストからインサイトを得るにあたり 期間とインプレッション数が インサイトの精度に直接影響するためです

テストの統計的有意性に影響を与える 変数要素は多数ありますが インプレッション数と期間は 大きな役割を演じます

テストの内容は以下です 一番左に表示されているのが オリジナルのアイコンです 次がアイコンのトリートメントで 背景色が変更されています その次が 脳をデザインした アイコンのトリートメント 最後に ロボットの アイコンのトリートメントです デベロッパは このロボットアイコンで コンバージョン率が高くなる という仮説を立てていました 結果はこうなりました 脳のアイコンは オリジナルより パフォーマンスが高く コンバージョン率が8%向上し 信頼度は98%以上でした

結論として 4種類をテストした結果 ユーザーのコンバージョン率が 最も高かったのは 脳の画像のアイコンでした

結果は仮説と異なり ロボットのアイコンは オリジナルよりもパフォーマンスが 低下しました このプロダクトページの最適化の テスト結果を参考にして デベロッパはデータに基づく 意思決定を 行うことができました

テストの実施後 デベロッパは パフォーマンスが優れていた アイコンを 次のバージョンのAppに 取り入れることにしました ただし まずAppユーザーの 最終的なパフォーマンスで 目標を達成してから この変更が実施されました

このデベロッパは 引き続きサイクルを重ね さらに多くのアセットをテストして 継続的な最適化に 役立てていく計画です

次の事例はRovioの 「アングリーバード2」です パズルカテゴリの フリーミアム型ゲームで 中毒性のあるスリングショット アクションと 豊かなグラフィック 各レベルに複数のステージがあり 悪賢いボスピッグがいます

このプロダクトページの 最適化テストは 季節限定版クリエイティブの パフォーマンスが 通常版より優れているかどうかを 確認することが目的でした

調査を行った結果 季節限定の要素を取り入れた スクリーンショットの方が コンバージョン率が高いだろう という仮説を立てました

12月中に20日間のテストを実施し この期間中の トリートメントごとの インプレッション数は 平均200万件でした こちらがテスト内容で 左の画像がオリジナルです 1つ目のスクリーンショットは 通常のイラストになっています 右の画像がトリートメントです 1つ目のスクリーンショットに ホリデーシーズンのテーマ画像が 使われています

先ほど説明したように 仮説では コンバージョン率が高いのは こちらでした

結果を見てみると 驚くことに 通常のイラストを使った オリジナルのプロダクトページの方が 季節限定版クリエイティブより パフォーマンスが優れていました コンバージョン率は1.5%高く 信頼度は100%でした この事例では 季節限定版の方がパフォーマンスが 低いという結果でしたが 皆さんのAppやゲームでも 季節限定版をテストしてみて それぞれに最適なクリエイティブを データに基づいて判断してください このテストの結論としては 2種類をテストした結果 オリジナル つまり通常版 クリエイティブの方が コンバージョン率が高いと 確認できました 結果は仮説と異なるものでした この仮説は ほかの複数のケースでは 季節限定アセットの方が コンバージョン率が高かった という事実をもとに 立てられたものでしたが このケースでは 反対の結果となりました 繰り返しますが この結果はこのデベロッパの このクリエイティブに 固有のものです 皆さんのAppやゲームにも当てはまる 一般論ではないことに 注意してください 重要なことは 場合によっては トリートメントよりもオリジナルの方が パフォーマンスが高い場合もあり それもひとつの 成功事例だということです このケースでは テストの結果により 1つ目のスクリーンショットは 現状のままがよいことがわかりました 仮説に従っていれば この判断にはならなかったでしょう 「アングリーバード2」チームは 多数のテストを実施しました マーケティングとプロダクトの 両チームが緊密に連携をとって バージョンリリースの スケジュールを立て リリース前にアセットの準備を 整えておくことで リリース直後からテストを 開始することが可能になります

最後の事例は Simplyというデベロッパが開発した 「Simply Piano」です 多数のユーザーを抱える サブスクリプション型のAppで 様々なピアノやキーボードを使って 短期間で楽しく ピアノの弾き方を学べます このプロダクトページの 最適化テストは Appプレビューがあることで コンバージョン率が高くなるかを 判断することが目的でした Appプレビューがある オリジナルの方が コンバージョン率が高くなるという 仮説を立てました 12日間テストを実行し テスト中のトリートメントごとの インプレッション数は 平均430,000でした テストの内容は次の通りです 左の画像がオリジナルで このようにAppプレビューが 再生されます 仮説では こちらの方が トリートメントより パフォーマンスが高くなるはずです 右の画像がテスト用の トリートメントで Appプレビューではなく スクリーンショットを使っています

結果はこうなりました Appプレビューなしの方が パフォーマンスが優れていて コンバージョン率が3.3%高く 信頼度は100%でした 多くの場合 Appプレビューは コンバージョン率に大きな プラスの影響をもたらします しかし このケースで テストした特定の動画では パフォーマンスが低下しました

すでに説明したように プロダクトページの 最適化のメリットは 特定のアセットでコンバージョン率が 改善するかどうかを データに基づいて 判断できるという点です Appプレビューについて 覚えておくべき点は 1つのテストで 最大3つの動画をテストして どの動画のパフォーマンスが良いかを 確認できることです 「Simply Piano」のテストの 結論としては 2パターンのテストから トリートメント つまり Appプレビューがない方が コンバージョン率が高くなりました 結果は仮説と異なるものでした 「アングリーバード2」の事例と 同様です 仮説と異なる結果に 驚くことになりましたが 次のステップとしては サイクルを繰り返し 再度テストを行います これらの事例が 皆さんにとって プロダクトページの最適化テストを 実施する上での 参考になればと思います

次に 継続的な最適化に取り組む上で 十分に検討するべき重要なポイントを いくつか紹介します

テストを計画し 実行する際には 段階的にサイクルを進めていきます 時間の経過に伴うオーディエンスや 季節性などの変化を考慮し アセットの再検討を行います それにより テストの効果を 最大限に高めることができます 成功事例で見てきたように データによって 仮説が誤りだと わかることもあります 次の段階に進んで さらにテストを行いましょう

一度に1つのアセットを テストすることで テストにおける可変要素の 数を絞ります そうすることで コンバージョン率に 最も大きな影響を与えた要素を 簡単に特定できます テストは少なくとも1週間は実行し 7日単位で延ばすことを推奨します 例えば 上位ユーザーの アクティビティが 週末に増加するという場合に 月曜日から3日間 テストを実行するだけでは トラフィック変化の 重要な期間を見逃してしまい 結果を測定できなくなります また テストでは トリートメントのアセットに 目立つ大きな違いを持たせることで 効果が見られるようにしましょう 違いが小さく微妙だと テストで十分な信頼度が 得られるまでの時間の長さに 影響する可能性があります テストを進めながら結果を 確認することで 各テストにどの程度の時間が 必要になるかを予測できます 信頼度が低くても問題ない場合は 一定の信頼度に達したところで テストを中止することができます 次に 提出プロセスに関する ポイントを紹介します 最適化テストを実施する場合は リリーススケジュールの担当者と 緊密に連携を取って計画を立て テストに十分な時間を確保して 必要な信頼度が得られるようにします プロダクトページの最適化アセットは Appのリリースとは別に提出できます そのため 次のAppリリースまでの 期間を考慮して プロダクトページのアセットを 用意することをおすすめします そうすることで Appのリリース間隔を 最大限に活かしてテストを実行できます Appアイコンのテストを行う場合は テスト対象のバージョンのバイナリとともに Appアイコンのアセットを提出します 提出のプロセスを円滑に進めるため App Reviewのガイドラインに従って プロダクトページのアセットを提出します

注意事項がいくつかあります App Storeでのテストは ほかのプラットフォームでの テストとは切り離しましょう ほかのプラットフォームでの結果が App Storeでも同じだと 考えないでください Appleとその他のプラットフォームは 異なるものです ユーザーの行動や 特にユーザーインターフェイスの点で 顕著な違いがあります そのため 同じクリエイティブでも 同じようには表示されません トラフィックの混在や 新しいキャンペーンの追加 週ごとや季節ごとの変化などの 外部要因に注意しましょう テストの効果の評価や測定では これらを考慮に入れてください

今日の内容はここまでです 最後にお伝えしたいのは 最適化戦略の中で継続的にテストを行い Appやゲームのオーディエンスに対して 効果があるかどうかを確認することを 強くおすすめします スクリーンショットの並べ替えなどの シンプルなテストや Appプレビューなどの 複雑なテストを試してみましょう 根気よく続けることで App Storeにおける Appの存在感を最大限に高めましょう 今日の内容についての詳しい情報や リソースについては Apple Developer Webサイト をご覧ください ご視聴ありがとうございました