Xcode Cloud用の高速で信頼性の高いテストを作成する

Appleの継続的インテグレーションおよび継続的デリバリサービスであるXcode Cloud向けに、効果的なテスト計画を作成する方法をご覧ください。ご利用のコードが正常に機能することを継続的に検証する上で、テストの実施がどれほど重要になるのか解説します。さらに、Xcode Cloud向けに高速で信頼性が高く、効率的なテストを作成したり、無駄な失敗を回避したり、コードの変更を迅速に検証したりする方法も紹介します。

リソース

- HDビデオ
- SDビデオ

関連ビデオ

WWDC23

Xcode Cloudでの実用的ワークフロー作成

WWDC22

WWDC21

WWDC20

WWDC19

Xcodeでテストする

WWDC18

テストのヒントとコツ

ダウンロード

こんにちは「Xcode Cloud用の高速で信頼性の高いテストを作成する」にようこそ私はXCTestで働くSuzyですこのセッションでは Xcode Cloudテストを始める為最も効果的な方法を紹介します私のチームはすべての開発者のため強力なツール Xcode Cloudを設計しました Xcode自体のテストにも使いとても気に入っています Xcode Cloudのお気に入りの機能の1つは与えられたテストスイートを大幅に拡張する機能です

ほとんどのテストをクラウド上で実行する様に構成し iPhone iPad Apple Watch Apple TV Macなど多様なプラットフォームを活用するため OSのバージョンが異なる複数のテスト先でテストを実行したりアドレスサニタイズやスレッドサニタイズなどの実行時分析ツールを使ってさまざまなテストプラン構成を実行することが現実的な方法となりますこのような徹底的なテストスイートをクリアすれば自信を持って出荷できるコードになります Xcode Cloudにテストをオフロードし開発者コードコンパイルテストといったデスクトップサイクルに影響を与えずより広範なテストセットを実行できますこのようにテストスイートを拡張したことで信頼性の低いテストが増える可能性がありますこのような状況は手に負えなくなる可能性がありますそのため信頼性の確保は必須です信頼性に加え大量のテストは継続的インテグレーションプロセスへの影響を抑えるために効率的に実行する必要がありますまず信頼性から取り上げましょう Food Truckを使い Xcode Cloudのより信頼性の高いテストをオーサリングする方法を紹介します Food Truckはタップやスワイプをドーナツに変換するAppです Xcode Cloudでテストスイートを実行し全Appleプラットフォームで私の好きなドーナツスプリンクルチョコレートの注文が可能かを検証できます Xcode Cloud Workflowの各改善点を洗い出しデモンストレーションを行います Xcode Cloud Workflowsを始める詳細については「Xcode Cloudの紹介」をご覧ください

より信頼性の高いテストを作成するための第一歩は各テストの設定とティアダウンを徹底することです Xcode Cloud でのテストでは開発者の当初の想定を満たさない可能性のある新シミュレータを使用しますテストコードで時々見られるデバイス構成の仮定をいくつか挙げてみましょう一部のテストでは特定の日時に依存しますサーバが異なるタイムゾーンで動作している場合ですテストはタイムゾーンに依存しない必要があります数字の書式や言語の方向性などロケールに基づく値は予期せぬ結果をもたらすことがありますシミュレータのロケールを明示的に設定し回避できますインターネットへのアクセスなど特定のデバイスの権限に依存することも問題視されていますユニットテストではデバイスのパーミッションをモック UIテストではアラートハンドラを使用するのがベストです最後に一部のテストはプリロードデータに依存しますテストは空の書類ディレクトリを期待するかもしれませんシミュレータを明示的に設定することが最も簡単な選択である場合もありますが一般的にはテスト設定方法を強化することがより強固です例えば Food Truck はメニューファイルに依存します setup関数でtruckオブジェクトをインスタンス化する際にドーナツメニューが含まれるモックデータファイルを生成しますティアダウンメソッドに頼って後続のテストの準備をするより設定メソッドで全状態準備を確立することをお勧めします読み取り専用のファイルをリポジトリにチェックインし後でテストでアクセスできますこれらのファイルを構築する必要がある場合 Xcode Cloud は複数のテストがアクセスできる様ファイルを一度生成できるカスタム設計スクリプトを支援しますスクリプトの設定方法の詳細については「高度なXcode Cloudワークフローのカスタマイズ」をご覧ください

以上でシミュレータの設定は完了です前提条件を満たせなかったテストの処理方法を説明します XCTSkipは XCTest Runnerに現在のテスト実行を中止させスキップとしてマークするよう指示するエラーですこれはまだ未サポートのOS版やデバイスの種類迂回に使用されますまた XCTSkip を利用し環境変数を設定ステージング環境や本番環境に特有のテストのスキップもできます環境変数を使いテストの流れを制御する方法を説明します

環境変数はデバイス上の XCTestテストランナーAppと xcodebuildを実行しているテストホストの両方にパラメータを提供できます Xcode Cloudでは TEST_RUNNER_ を先頭に持つ環境変数が XCTestのテストランナーに渡されますこのプレフィックスは変数がコードから利用できるようになる前に取り除かれます例えばテストコードにある BASE_URLという変数は TEST_RUNNER_BASE_URLという環境変数として渡されることになりますテスト計画にはテストコードと同じフォーマットが必要ですすなわち TEST_RUNNER_という接頭辞は付けません環境変数はテストコードのどこからでも参照できます例えば XCTSkipと一緒に使うことで本番環境で実際にドーナツを注文するテストをスキップできますもちろんお腹が空いていれば別ですがテスト計画とXcode Cloud User Interfaceの両方など複数の場所で環境変数を再定義すると予期しない結果の可能性があることに留意することが重要ですこの場合Xcode Cloudの環境変数がプロジェクトのテスト計画で指定したものより優先されますテストコード内で環境変数を参照しているため Xcode Cloudユーザインターフェイスでその値を設定できます

これには Cloud Reportsに移動し Controlキーを押しながら Food Truckをクリックします

ワークフロー内の環境変数を編集するためにコンテキストメニューから「Manage Workflows」を選択します統合ワークフローを具体的に編集しているのでダブルクリックしますここでサイドバーの「Environment」を選択しシート中央の「Environment Variables」に変数の名前と値を追加できます

Xcode Cloud Workflowで環境変数を設定する代わりテスト計画内で設定することができますこの例ではまだテストプランがありませんテスト計画を有効にするにはスキームエディタを開きサイドバーで「Test」を選択「Convert to Use Test Plans」をクリックします

「Food Truck」と名付けたテストプランができました環境変数を追加するにはテスト計画をクリックしエディタを開く必要があります

上部付近では「Tests」と「Configurations」を選択できます「Configurations」を選択してみましょうでは「Arguments」セクション内で「Enbironment Variables」をクリックし変数を追加しますポップアップが表示されるので変数の名前と値を入力します

これで本番環境ではテストがスキップされますテストのスキップについて詳しくは「テストをXCTSkipする」をご覧ください

XCTSkipを制御する為の環境変数利用をカバーしたので期待値タイムアウトについて話しましょう予期せぬタイムアウトによりテストが失敗する事があります例えば遅いサーバユーザーインターフェイスのテストに過剰な心配をした結果である可能性がありますどちらの問題も解決する一つの方法は XCTestExpectationのタイムアウトを長くし対話が終了するのに十分な時間を確保することですこの例では OrderDonutのタイムアウトを10秒に増やしサーバが応答する時間をより長くしています通常 Appとテストコードのタイムアウト処理を async/awaitへの置き換えが望ましいですこの方法ではawait呼び出しが終了するまでタイムアウトなしでテストを一時停止ができます

時間依存のテストは解決したのでテストスイート内でテストの失敗を処理しましょう例えばメンテナンスのため停止しているステージング環境内のサービスに依存するテストがあるとしますこれを無効やスキップする代わりに XCTExpectFailure を使えます XCTExpectFailure を使うとテストは通常通り実行され結果は次のように変換されます：テストの失敗は予想される失敗として報告されそのスイート内の失敗したテストは合格として報告されます予想される失敗で発生するノイズを除去できます

例えば testOrderDonutは失敗していますドーナツの注文を提供するサービスが今メンテナンス中なのは知っているのでここにXCTExpectFailureの呼び出しを追加しました XCTExpectFailureの詳細については「XCTestで想定される失敗の容認」をご覧ください

予想される失敗を宣言したのでコードの実証と信頼性のないコードの診断にテストの繰り返しを活用してみましょうテストの繰り返しは最初の失敗最初の成功または統計的な結果を待って同じテストを複数回実行するツールです例えば私たちのデスクでは新しいコードとテストケースを繰り返し複数回実行し初期Appとテストコードの信頼性を確認してからチェックインしています結果 testOrderDonutの成功率は80％のみでした大変です！失敗の存在を知っているので repeat-until-failureモードで局所的にバグを診断しますこれもテスト繰り返しの活用法です信頼性の低い外部サービスに依存するテストでは retry-on-failureの繰り返しポリシーを活用しテストが成功することを確認したい場合がありますテストの再試行は強力なアプローチですが可能な限り外部サービスのモックを作る事が望ましいですモックサービスの利点は決定論的な信頼性と速度です依存関係をモック化する方法については「テストのヒントとコツ」をご覧くださいテストの繰り返しを有効にする方法を見ましょう

テスト計画でテストの繰り返しを有効にするにはテスト計画エディタに戻り「Configurations」を選びます

次に「Test Execution」セクションの下にテストの繰り返しモードの選択ポップアップがあります

今回は主に信頼性の低い外部サービスを回避するのに使用される「Retry on Failure」を選択しますこれでテスト繰り返しモードが有効になりましたテスト繰り返しの活用につきましては「テスト繰り返しによる信頼性の低いコードの診断」をご覧くださいそこでテストの信頼性を向上させるために使えるさまざまなツールについて解説してきました品質テストの書き方については「不具合現出テストを書く」をご覧くださいテストが信頼できるので次は高速な動作です！より高速な結果を得る設定オプションが多数存在しますテストスイートの実行にかかる時間の短縮をしてみましょう

パフォーマンスを向上させる手法としてテストを複数のテストプランに分割することがあります時には 2つで十分なこともありますプルリクエストをオープンやアップデートするたびに検証する縮小されたテストセットを特定できます

例えばあるプラットフォームに対してユニットとユーザインターフェーステストの重要なサブセットを実行できます

サポートされているすべてのプラットフォームでのフルセットのテストは引き続き実行できますが現在はバックグラウンドで実行されプルリクエストのブロックはありません

継続的インテグレーションプロセスをタイムリに維持しながらテストや新プラットフォームを追加することができます

選択したテストセット実行のワークフローを設定しましょうこの例ではすでに「Pull Requests」という新しいテスト計画を作成しエディタで開いています上部の「Tests」と「Configurations」のどちらかを選択できます「Tests」を選択してみましょう

プルリクエストの為に検証するテストのサブセットを選択しましたプルリクエストテスト計画を実行するワークフローの設定はテストをスキップする環境変数を追加したときと同じように Xcode Cloud Manage Workflowsに戻りましょうワークフローを新規に作成する為「Manage Workflow」シートの左下にある「Add」ボタンをクリックします簡単にワークフローの名前も「Pull Requests」とし開始条件を選択しましょうテストが失敗している状態でチェックインを行わなくしますサイドバーの「Start Conditions」右側にある「Add」ボタンをクリックします

開始条件のオプションが表示されたメニューが表れます今回は「Pull Request Changes」を選択します

これでプルリクエストの開始条件が整いましたテスト実行にはまず Food TruckAppをビルドしますその為にはビルドアクションを追加する必要があります再びサイドバーの「Start Conditions」の下にアクションを追加しましょう「Actions」の隣にある「Add」ボタンをクリックしコンテキストメニューから「Build」を選択します

Appをビルドするアクションができたのでテスト実行のアクションをもうひとつ追加しますアクション追加を再度クリックし今回は「Test」を選択します

素晴らしいテストアクションができましたね実行するテストプランを選択しましょうシートの真ん中にテスト用ドロップダウンがありますここでは「Pull Requests」テストプランを選択できます

素晴らしい！プルリクエストにテストプランを実行するワークフローが設定されましたテスト全体を予定に沿って実行する 2つ目のワークフローを作るには同様の手順を実行します今回は開始条件を「On a Schedule for a Branch」としフルスイートのテストプランを実行するようにワークフローを設定します両方のワークフローがXcode Cloud で構成され関連するテストプランを実行していますテスト計画を更に知りたい方は「Xcodeでテストする」をご覧ください

プルリクエストを作りワークフローのテストセットを予定しましたテストの同時進行もスピードアップの改善点ですデフォルトではXcode Cloudはプラットフォームを並行しテストしますターゲットとテスト目標のクラスレベルで Xcodeがテストを並行して実行できるようにできます

Xcodeでテストの並列実行を可能にするため再びテストプランエディタで “Tests “を選択します

「Food Trucks Tests」テストの束の右側にある「Options」ボタンをクリックします

オプションの1つで可能な限り「Execute in parallel」事ができますサーバーに十分なコアがあれば複数ターゲットとテスト目標クラスを同時に実行できますこれを有効にしテストスイートの変更時間を向上させましょう

テストが並列に実行されるよう設定されました並列実行の利点を生かすにはテストが独立して実行される様設計されなければなりません適切な設定とティアダウンは信頼性の高いテスト動作に不可欠です

テストが並行して行われるようになったので次は暴走テストに目を向けましょう暴走テストとはタイムリに終了しないテストのことです例としては無限ループや故障したサーバーを無限に待ち続けることなどがあります

テストプランに実行時間の許容値を設定しこれらのテストを停止できます実行時間の許容値はテストがタイムアウトエラーで失敗するまでの実行秒数を指定しますテストスイートが個々のテストで行き詰まるのを防げます

この場合 5回目のテストが何かの理由で引っかかりました実行時間に余裕を持たせることでこの暴走は最終的に停止し失敗と判定された XCTest Test Runnerは次のテストの実行を継続しましたテスト計画の実行時間の許容値を設定しましょう

実行時間の許容値を設定するためにテストプランエディタで「Configurations」を選択します

「Test Execution」カテゴリで「Test Timeouts」を有効にし待ち時間を秒単位で指定することができますなおデフォルトは600秒です

最大実行時間の許容値を設定したことで 1つのテストの暴走がワークフローを乱さなくなりました例えば夜間に行われるテストが時間通りに完了し有用な結果を提供できる様になりましたやった! 暴走していたテストを止められたので次の改善に進むことができます外部サービスに依存するテストの信頼性を高めるためテストの繰り返しを活用できました失敗時に再試行するようにテスト計画を設定し十分な繰り返し値を選択しましたしかしこの繰り返しはテストの実行時間を増やす可能性があります

不要な繰り返しは無駄なのでテストの繰り返し値を低い数値に最適化します問題のテストをプルリクエストのワークフローから完全な削除を検討してもよいでしょうではどうすればよいのでしょうか

テストプランエディタのテスト repetitionsNconfigurationに戻ります

テストの繰り返しモードを「Retry on Failure」に設定しましたここで「Maximum Test Repetitions」の値を調整します例えば 5％の確率で失敗する外部サーバ依存テストでは最大10回の試行を許可したかもしれませんほとんどの場合 1回目の挑戦で成功しますしかしその同じテストに関係のないバグがあると毎回失敗し 10回すべて使ってしまうことになりますもしかしたら 3回の試行で十分でより良い選択かもしれません

パフォーマンス向上の為に再試行回数を減らしたいですが信頼性の向上のために再試行回数を増やすことを推奨したケースもあることに注意しましょうその為この最小限の値はテストを確実に実行するのに十分であり続ける必要があります以上で高速化のための設定は終了ですより早くテスト結果を得るための詳細は「より早くテスト結果を得る」をご覧ください

要約するとXcode Cloudのテストを開始する最も効果的な方法について説明しました無関係な失敗を避けコード変更を迅速に検証できる様信頼性と高速性の両方を備えたテスト構成に注力しましたありがとうございました！残りのWWDCも楽しんでください

3:37 - setUp()
```
override func setUp() async throws {

}
```

3:46 - setUp() example

var truck: Truck!

override func setUp() async throws {
    let directoryURL = FileManager.default.temporaryDirectory
    let fileName = UUID().uuidString
    let fileURL = directoryURL.appendingPathComponent(fileName, isDirectory: false)
    let data = await mockDonutMenuData()
    try data.write(to: fileURL)
    truck = Truck(menuURL: fileURL)
}

5:55 - Environment variable example

var truck: Truck!

func testOrderDonut() throws {
    let host = ProcessInfo.processInfo.environment["BASE_URL"]

    let expectation = XCTestExpectation(description: "Order donut")
    truck.order(with: .sprinkles, host: host) { error, donut in
        XCTAssertTrue(donut.hasSprinkles)
        expectation.fulfill()
    }       
    wait(for: [expectation], timeout: 5)
}

6:00 - XCTSkip example

var truck: Truck!

func testOrderDonut() throws {
    let host = ProcessInfo.processInfo.environment["BASE_URL"]
    try XCTSkipIf(host == "prod.example.com")

    let expectation = XCTestExpectation(description: "Order donut")
    truck.order(with: .sprinkles, host: host) { error, donut in
        XCTAssertTrue(donut.hasSprinkles)
        expectation.fulfill()
    }       
    wait(for: [expectation], timeout: 5)
}

8:18 - XCTSkip example

var truck: Truck!

func testOrderDonut() throws {
    let host = ProcessInfo.processInfo.environment["BASE_URL"]
    try XCTSkipIf(host == "prod.example.com")

    let expectation = XCTestExpectation(description: "Order donut")
    truck.order(with: .sprinkles, host: host) { error, donut in
        XCTAssertTrue(donut.hasSprinkles)
        expectation.fulfill()
    }       
    wait(for: [expectation], timeout: 5)
}

8:48 - XCTestExpectation example

var truck: Truck!

func testOrderDonut() throws {
    let host = ProcessInfo.processInfo.environment["BASE_URL"]
    try XCTSkipIf(host == "prod.example.com")

    let expectation = XCTestExpectation(description: "Order donut")
    truck.order(with: .sprinkles, host: host) { error, donut in
        XCTAssertTrue(donut.hasSprinkles)
        expectation.fulfill()
    }       
    wait(for: [expectation], timeout: 5)
}

8:59 - Increase XCTestExpectation example

var truck: Truck!

func testOrderDonut() throws {
    let host = ProcessInfo.processInfo.environment["BASE_URL"]
    try XCTSkipIf(host == "prod.example.com")

    let expectation = XCTestExpectation(description: "Order donut")
    truck.order(with: .sprinkles, host: host) { error, donut in
        XCTAssertTrue(donut.hasSprinkles)
        expectation.fulfill()
    }       
    wait(for: [expectation], timeout: 10)
}

9:16 - Async/await example

var truck: Truck!

func testOrderDonut() async throws {
    let host = ProcessInfo.processInfo.environment["BASE_URL"]
    try XCTSkipIf(host == "prod.example.com")

    let donut = try await truck.orderDonut(with: .sprinkles, host: host)
    XCTAssertTrue(donut.hasSprinkles)
}

10:02 - XCTExpectFailure example

var truck: Truck!

func testOrderDonut() async throws {
    let host = ProcessInfo.processInfo.environment["BASE_URL"]
    try XCTSkipIf(host == "prod.example.com")

    let donut = try await truck.orderDonut(with: .sprinkles, host: host)
    XCTAssertTrue(donut.hasSprinkles)
}

10:06 - XCTExpectFailure example

var truck: Truck!

func testOrderDonut() async throws {
    let host = ProcessInfo.processInfo.environment["BASE_URL"]
    try XCTSkipIf(host == "prod.example.com")

    XCTExpectFailure("<https://dev.myco.com/bug/98> Donut ordering service is down")
    let donut = try await truck.orderDonut(with: .sprinkles, host: host)
    XCTAssertTrue(donut.hasSprinkles)
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。