異常+予測：データで異常を見つける – Amplitude

この記事のテーマ：

コア指標の意味のある変動を、統計ノイズによって引き起こされる変動と区別します。

コア指標は、急速に変動する可能性があります。それらの動きが意味があり、調査に値するか、ランダムノイズであるかを知るのは困難です。 AmplitudeのAnomaly + Forecast機能は、履歴データに基づいて、指標の期待値からの統計的に有意な偏差をハイライトします。これは、変更が本当に意味のあることかどうかを判断し、インストルメンテーションエラーをキャッチし、季節トレンドを研究し、プロダクトリリースの影響を監視するのに役立ちます。

予測では、指標を将来に投影できるため、チームとプロダクトの現実的な目標を設定できます。

開始する前に

Anomaly + Forecastを始める前に、知っておくべきことがいくつかあります。

この機能は、Growth、Enterprise、Scholarshipプランの顧客が利用できます。

異常検出と予測は、Amplitude内の時系列データにのみ適用できます。つまり、イベントセグメンテーション、時間経過コンバージョン（ファネル全体のユニークユーザーによるカウント）、ユーザーセッション、時間経過リテンション、時間経過スティッキネスでのみサポートされていることを意味します。

イベントセグメンテーションでは、ローリングウィンドウ、ローリング平均、成長パーセンテージ、時系列分析をサポートするカスタム数式で動作します。

異常検出は、衝突時系列チャート、または2つの異なる時間を比較するチャートでは機能しません。

時間間隔を使用している場合、Anomaly + Forecastは、最大1グループバイをサポートしています。

異常検出を設定する

検定テクニックは、Anomaly + Forecastで使用されるものは、広範にテストされたオープンソースツールProphetに基づいて構築されています。これは、欠損データポイント、トレンドのシフト、大きな外れ値に堅牢な時系列データを予測するための手順です。

この機能のコントロールは、メインチャートエリアのすぐ上の左側で見つけることができます。チャートがAnomaly + Forecast機能でサポートされていない場合、代わりにバトンはグレー表示されます。

異常検出を設定するには、次のステップに従ってください：

Anomaly + Forecastをクリックして、機能を有効にします。機能がエンゲージされると、バトンはオレンジ色になります。
Anomaly + Forecastバトンの右側のドロップダウン矢印をクリックします。

モードを選択します。オプションは、アジャイル、堅牢、カスタムです。 アジャイルモードは、チャートの日付範囲の開始前に95％信頼区間と120日間のトレーニングデータを使用して、最近のトレンドにすばやく調整します。 ロバストモードは、安定した指標に最適です。これは、追加のトレーニングデータを丸1年組み込むため、季節性を適切に考慮できるためです。 カスタムでは、信頼区間とトレーニング期間の両方を変更して、特定の要件に合わせて変更できます。有意レベルが高いと、チャートに表示される異常が少なくなる傾向があります。

注：Amplitudeは、各モードで季節性を自動的に検出します。期間は、モデルをトレーニングするために使用されるデータ量によって異なります。アジャイルモードは通常、日次と週次季節性を使用します。ロバストモードは、月次と年次季節性を探します。十分なデータが利用できない場合、季節性が検出または適用されない場合があります。
必要に応じて、予測を追加します。予測は、指標を将来に投影しますが、異常は履歴データ内でのみ検出されます。予測を追加するには、予測期間フィールドで予測を延長する月数を入力します。
[適用]をクリックして、異常を検出し始めます。

結果を解釈する

単一の系列のチャートは、水色のバンド（信頼区間バンド）と実際のデータであるソリッドブルーラインの横に期待値を表す破線を表示します。検出された異常は、信頼区間バンド外のオレンジ色で表示されます。異常は、次のように伝達できます：「120日間のトレーニングデータに基づいて、このデータポイントが予期しない変化を表していると95％信頼で言うことができます。」

オレンジ色のドットが存在しない場合、すべてのデータポイントは信頼区間内にあります。

チャートで複数の系列でAnomaly + Forecastを実行できます。ただし、信頼バンドを表示するには、各シリーズにカーソルを合わせる必要があります（これらはすべて、異なる色で表示されます）。

予測では、実際のデータを表すソリッドラインと、現在の日付までの信頼区間が表示されます。そこから、予測は、予想された将来の値を表す破線のみを表示します。 Prophetは、過去に観察された変化の大きさと頻度を推定することで将来を予測するもので、一定の信頼度があります。

予測結果は、次のように伝達できます：「過去120日間のデータで見たトレンドに基づいて、この指標が[高い値]と[低い値]の間にあると95％確信しています。

異常原因を判断する

異常を特定することは、最初のステップです。まず、何が原因で原因となったのかを知りたいでしょう。

いくつかの関連する指標を見て、それらの異常も観察するかどうかを確認します。特に、ファネルのステップの前または後に発生するイベントを見てください。また、これらの異常が発生した理由について、より多くのインサイトを得る可能性のあるプロパティでグループ化を使用することもできます。

3番目のオプションは、異常を取り巻くビジネスコンテキストを調べることです。例えば、その日、新しい機能が出荷されましたか？それが原因だった可能性はありますか？

最後に、Amplitudeのルート原因分析機能は、異常の原因を追跡するための強力なツールです。

トレーニングデータ

Amplitudeは、異なる時間間隔とモードで異なるデフォルトトレーニング期間を使用します。カスタムモードでは、これは構成可能であり、チャート日付範囲に追加されます。

例えば、日次インターバルを使用し、チャート上の過去30日間のデータを見ると、日次チャートのデフォルトトレーニングデータ期間は、チャート日付範囲の開始の120日前です。この場合、Amplitudeは合計150日間のデータを使用して、モデルをトレーニングします。

アジャイルモードでは、Amplitudeは、次のデフォルトデータトレーニング期間を使用します：

>チャートで使用される時間間隔	デフォルトトレーニング期間
リアルタイム	利用できません
1時間	7日間
1日	120日
1週間	26週間
1ヶ月	6ヶ月
1四半期	2四半期

アジャイルモードでは、Amplitudeは次のデフォルトデータトレーニング期間を使用します：

>チャートで使用される時間間隔	デフォルトトレーニング期間
リアルタイム	利用できません
1時間	7日間
1日	365日
1週間	52週間
1ヶ月	12ヶ月
1四半期	4四半期

各インターバルに使用されるトレーニングデータ（以前の期間+チャート期間）の上限は、次のとおりです：

>チャートで使用される時間間隔	トレーニング期間の制限
リアルタイム	利用できません
1時間	14日
1日	395日
1週間	56週間
1ヶ月	13ヶ月
1四半期	5四半期

アジャイルまたはロバストモードが提供しない特定のトレーニング期間がある場合は、カスタムモードを選択して、その期間を設定できます。

異常のアラートが必要な場合、AmplitudeのInsightsパッケージには、自動とカスタムモニターアラートが含まれています。パッケージの詳細については、こちらをご覧ください。