Experiment Analysisビューを理解する

  • 更新

Amplitude Experimentでは、Experiment Analysisビューで、実験の詳細を確認できます。[分析]タブの下のAnalysisカードに表示され実験が成功したかどうかを見極めるのに役立つ、最も重要でハイレベルの統計測定の見方を便利にすばやく提供します。

experiment_analysis_view_table.png

この記事では、この表の各列の意味と、実験にどう関係するかを簡単に説明します。

最初の2つの列、指標名バリアントは、単純です。最初の列は、実験の開始時に含まれていた指標名です。トップ指標は主要指標であり、他のすべての指標は二次指標です。2番目の列は、実験のバリアント名です。これには、コントロールとすべての処置が含まれます。

注:指標名をクリックすると、経時的な信頼区間と実験可視化チャート、その指標の棒グラフまたはファネルが表示されます

有意性これは、各検定バリアントで表示されるパフォーマンスが、実際にはゼロと異なり、データのランダムな変動によるものではない可能性です。この値が高いほど、結果を信頼できます。正式には、これは1 - p値として表されます

相対的パフォーマンスは、与えられたバリアントのパフォーマンスと一致させるために必要な、コントロールのパフォーマンスの変化割合です。言い換えれば、バリアントがどのようなパフォーマンスを示し、コントロールがどのようなパフォーマンスを示したかの違いを測定します。(他のプロダクトでは、これは多くの場合相対的リフトと呼ばれます。)この値をクロスチェックするには、単一の指標のセクションを展開し、バリアントの絶対的リフトを、その指標のコントロールの絶対値で割ります。(絶対リフトは、[絶対パフォーマンス]列のカッコ内の値です。

絶対値の具体的な意味は指標タイプによって異なります。ユニークコンバージョンでは、この値はパーセンテージで表され、各バリアントでコンバージョンしたユーザーの割合(露出したユーザーの総数)を示します。

:ユーザーのセグメントを見る場合は、[分析]タブから、[アナリティクスを開く]をクリックし、[プロパティを選択]をクリックしてwhere句を追加します。これにより、特定のユーザーグループで結果を確認できます。

mceclip0.png

それ以外の場合は、値は露出ユーザーあたりの集計(イベント合計、プロパティ値の合計、プロパティ値の平均)を示します。ここで使用される分母は、露出の総数です。例えば、合計イベント10回 / 露出4回 = 平均では、露出ユーザーには2.5回のコンバージョンイベントがありました。

信頼区間列は、処置とコントロールの差の信頼区間(パラメーターが一対の値の間に入る確率)を表示します。数学的には、diff = metric_value(treatment) - metric_value(control)と表現できます。

これは、測定しようとしているパラメーターを含むさまざまな値と理解でき、この場合、バリアントとコントロールの平均の差です。これは確率ではありません。そうではなく、次のように解釈されます:この実験を100回行い、信頼度レベルが95に設定されている場合、パラメーターのtrueの値が95回以上、この範囲に収まると予想されます。

示された信頼区間は、実験がこれまでに観察した内容に関する特性を明らかにします。

  • 信頼区間が0を含む:コントロールと処置の間に差があることを示す十分な証拠がありません。
  • 信頼区間が0を超える:区間(信頼区間の上限と下限)は、0よりも大きい。Amplitude Experimentは、統計的有意性に達する十分な観察を積み重ね、そのバリアントがコントロールに比べて肯定的な効果があると結論できます。例えば、リフトを見ている場合、信頼区間がゼロを超えるバリアントは、コントロールよりもパフォーマンスが良くなると予想できます。
  • 信頼区間が0未満:Amplitude Experimentは、統計的有意性に達する十分な観察を積み重ね、そのバリアントはコントロールと比較してマイナスの効果があると結論付けることができます。最後の例のように、リフトを見ている場合、信頼区間がゼロ未満のバリアントは、コントロールよりもパフォーマンスが低下すると予想できます。

複数のバリアントがある場合は、チャートの上のドロップダウンから信頼区間チャートで表示するバリアントを選択します。