実験ワークフロー:実験をロールアウトする

  • 更新

この記事のテーマ:

  • ユーザーに実験を起動する

実験目標を定義し、バリアントを設定し、トラフィックを割り当てたら、実験を起動するには、画面の右上隅の[実験を開始]をクリックするだけです。

start_your_experiment.png

[実験開始]ボタンのすぐ上に非アクティブトグルスイッチがあります。[実験を開始]をクリックすると、そのスイッチは自動的にアクティブに切り替わります。また、このトグルを使用して、実験を開始することなく計測をアクティブ化することもできます。このトグルを切り替えることで、次のことができます。

  • 実際に実験を起動せずにフラグを検定する
  • fetch()を使用して、Amplitudeサーバーからユーザー割り当てデータを取得する
  • 自動露出イベントをトリガーする

ただし、これにより実験開始日を設定するわけではありません[実験を開始]をクリックすることで設定します。

すべての変更を[実験を開始]をクリックする前に保存する必要があります。

注: [実験を開始]が、実験をアクティブにするのは一度だけです。開始日を変更しても、新しい開始日に実験を自動的にアクティブにトリガーするわけではありません

実験が実行されると、ボタンは[実験完了]に変更されます。実験の終了日、または実験が統計的有意性に達したときに、このボタンをもう一度クリックすることができます。その時点で、次の3つのうちの1つを実行できます。

  • 勝利バリアントをロールアウトする
  • すべてをロールバックし、実験前の状態に戻す
  • 実験を続ける

この決定は、いつでも変更できます。

実験が終了すると何が起こるか?

すべてのユーザーに実験をロールアウトする場合。

  • パーセンテージロールアウトは、100%に設定される
  • スティッキーバケットは、falseに設定される
  • ロールアウトのウェイトは、ロールアウトするバリアントが1、他のすべてのバリアントが0に変わる

実験を「カスタム」にロールアウトする場合、上記の自動変更は起こりません。 ロールアウトの決定を確認した後、手動で変更を適用する必要があります。

実験をロールバックする場合。

  • フラグがオフになる
  • パーセンテージロールアウトは、100%に設定される

実験を続ける場合、新しい終了日を入力できます。

実験をロールアウトした後、次のステップは実験から学ぶことです