概要

Intelligent Test Runner は、最近のコード変更によって影響を受けない無関連なテストをインテリジェントに除外することにより、組織のテスト影響分析を合理化します。

Test Visibility により、開発チームはテストサービス用に Intelligent Test Runner を構成し、除外すべきブランチ (たとえばデフォルトブランチ) を設定し、追跡すべきファイルを定義できます (追跡されたファイルの変更時にはすべてのテストの完全な実行がトリガーされます)。

テストサービスに Intelligent Test Runner を構成し有効化することで、CI 環境全体の信頼性とパフォーマンスを維持しつつ、不要なテスト時間を削減し、CI のテスト効率を向上させ、コストを削減します。

Intelligent Test Runner は コードカバレッジデータを使用してテストをスキップすべきかどうかを判断します。詳細は Datadog の Intelligent Test Runner の仕組みを参照してください。

Intelligent Test Runner のセットアップ

Intelligent Test Runner をセットアップするためには、お使いのプログラミング言語に関する以下のドキュメントを参照してください。

Intelligent Test Runner の有効化

Intelligent Test Runner を有効にするには

1. Software Delivery > Test Visibility > Settings に移動します。
2. Test Services タブで、サービスの Intelligent Test Runner 列で Configure をクリックします。

Intelligent Test Runner Activation Write 権限が必要です。詳細は Datadog のロール権限についてのドキュメントを参照してください。

クリティカルブランチ (たとえばデフォルトブランチなど) で Intelligent Test Runner を無効にすることで、包括的なテストカバレッジが確保されますが、機能や開発ブランチでそれを有効にすることで、テストの効率を最大限に高めることができます。

Intelligent Test Runner の構成

Intelligent Test Runner を構成して、特定のテストがスキップされないようにすることができます。これらのテストはスキップできないテストと呼ばれ、コードカバレッジデータにかかわらず実行されます。

Intelligent Test Runner を構成するには

1. Status トグルをクリックして Intelligent Test Runner を有効にします。
2. 除外するブランチ (通常はリポジトリのデフォルトブランチ) を指定します。Intelligent Test Runner は、これらのブランチのテストをスキップしません。
3. 追跡するファイルディレクトリとファイルを指定します (たとえば documentation/content/** や domains/shopist/apps/api/BUILD.bazel など) 。Intelligent Test Runner は、これらの追跡ファイルが変更された場合、すべての CI テストを実行します。
4. Save Settings をクリックします。

テストサービスで Intelligent Test Runner を構成した後、デフォルトブランチでテストスイートの実行を行います。これにより、将来のコミットで無関係なテストを正確にスキップできる基準が確立されます。

Intelligent Test Runner のデータを活用する

Intelligent Test Runner を有効にすることで収集されたデータを探索し、テストのスキップによる時間節約や、組織における Intelligent Test Runner の利用状況などを分析して、CI の効率を向上させましょう。

ダッシュボードを作成してテストのメトリクスを視覚化することも、Intelligent Test Runner が収集したデータを利用したウィジェットを含むすぐに使えるダッシュボードを使用して、利用パターンや傾向から改善点を特定することもできます。

Test Visibility Explorer で結果を検証する

Test Visibility Explorer では、Test Visibility と Intelligent Test Runner から収集したデータを用いて視覚化の作成やテストスパンのフィルタリングが可能です。Intelligent Test Runner がアクティブな場合は、各テストセッションやコミットで節約された時間が表示され、期間バーが紫色に変わります。これはアクティブなテストスキップを示します。

Software Delivery > Test Visibility > Test Runs に移動し、Session を選択してテストセッションスパンの結果のフィルタリングを開始します。

Software Delivery > Test Visibility > Test Runs に移動し、Module を選択して、テストモジュールスパンの結果のフィルタリングを開始します。

Software Delivery > Test Visibility > Test Runs に移動し、Suite を選択して、テストスイートスパン結果のフィルタリングを開始します。

Software Delivery > Test Visibility > Test Runs に移動し、Test を選択して、テストスパンの結果のフィルタリングを開始します。

次のすぐに使える Intelligent Test Runner ファセットを使用して、検索クエリをカスタマイズします。

Code Coverage Enabled

テストセッション中にコードカバレッジの追跡が活動していたかどうかを示します。

Skipped by ITR

Intelligent Test Runner によってセッション中にスキップされたテストの数です。

Test Skipping Enabled

テストセッションで Intelligent Test Runner が有効であったかどうかを示します。

Test Skipping Type

Intelligent Test Runner がスキップするテストを決定するために使用される方法または基準です。

Tests Skipped

テストセッション中に実行されなかったテストの総数。これには、スキップするように構成されたテストや、手動で除外されたテストが含まれる場合があります。

Time Saved

Intelligent Test Runner の使用によってセッションで節約された時間の長さです。

たとえば、Test Skipping Enabled を持つテストセッションの実行をフィルタリングするには、検索クエリで @test.itr.tests_skipping.enabled:true を使用します。

次に、テストセッションの実行をクリックし、テストセッションのサイドパネルの Test Session Details セクションで、Intelligent Test Runner によって節約された時間の量を確認します。

その他の参考資料

お役に立つドキュメント、リンクや記事:

Datadog Intelligent Test Runner による CI テストの効率化ブログ Intelligent Test Runner についてドキュメント コードカバレッジについてドキュメント