인사이트: 경고 기능을 활용해 메트릭에서 이상값 신속하게 포착하기

  • 업데이트 시간

이 문서에서는 다음 항목을 안내합니다.

  • 알림을 설정 및 관리하여 중요한 프로젝트 메트릭의 성과 모니터링하기

Amplitude의 알림 기능은 Prophet을 사용하여 구축되었습니다. Prophet은 제품 데이터의 모든 이상값을 자동으로 탐지하고 숨겨진 추세를 즉시 알리는 고급 데이터 마이닝 및 머신러닝 기법을 제공합니다. 먼저 예상 값과 그에 관한 신뢰 구간을 식별한 다음, 데이터의 전반적인 추세를 분석하고 데이터의 주간 추세와 결합합니다. 

시작하기 전에

알림은 인사이트 추가 기능을 구매한 Growth 및 Enterprise 플랜 고객에게만 제공됩니다. Amplitude 구독을 업그레이드하려면 CSM에게 문의하세요.

두 번째로, 알림에 관해 알아야 하는 몇 가지 세부 정보가 있습니다.

  • 동시에 여러 이벤트와 사용자 세그먼트에 대해 알림을 설정할 수 있습니다.
  • 속성에 대한 그룹화 기준을 사용하는 경우 알림은 상위 1,000개의 세그먼트에 대해서만 메트릭을 추적합니다.
  • 현재 맞춤 알림은 이벤트 분할 분석퍼널 분석 차트에서 일별 또는 시간별 빈도로 설정된 경우에만 사용할 수 있습니다.
  • 퍼널 분석에서는 알림을 지원하기 위해 시간 경과에 따른 전환을 측정합니다.
  • 이벤트 분할 분석 차트에서 주간 또는 월간 KPI를 추적하려는 경우 7일 또는 30일 이동 기간을 사용하세요. 또한 알림은 빈도 및 수식 탭이나, 막대 차트 시각화에는 지원되지 않습니다. 일부 맞춤 수식은 X축 시계열을 사용하는 차트를 생성하는 한에서 지원됩니다.
  • 퍼널 분석은 전환 기간을 기반으로 퍼널의 전환을 계산하기 때문에, 알림은 해당 기간이 경과할 때까지 이상값을 탐지하지 못합니다. 1일보다 긴 전환 기간을 사용하면 모니터링 알림이 지연됩니다.
  • 알림은 차트 소유자만 설정할 수 있습니다. 알림을 받고 싶은 차트가 이미 존재하지만 다른 사람에 의해 생성된 것일 경우, 복사본을 만들고 알림을 설정하기 전에 저장하면 됩니다. 또한 차트에 적용하는 변경 사항은 모두 해당 차트를 추적하는 알림에 자동으로 적용됩니다.

자동 모니터링은 Amplitude에서 로깅하는 모든 이벤트에 설정되며 '모든 이벤트에서 이상값 및 예상치 못한 추세를 추적'합니다.  이러한 경우 사용자가 설정을 관리할 수 없습니다. 자동이기 때문에 알림 이메일을 구독하거나 구독하지 않는 것만 가능합니다. 이벤트는 지난 30일 중 최소 15일 동안 하루에 100개 이상의 이벤트가 있는 경우 이상값 모니터링을 받게 됩니다. 이러한 이상값은 값이 과거 데이터의 99% 신뢰 구간을 벗어날 때 탐지됩니다.

 

알림 설정하기

Amplitude에는 automatic, custom, smart 세 가지 유형의 알림이 있습니다.

automatic 알림은 Amplitude에서 계측하는 모든 이벤트에 대해 설정됩니다. 이는 모든 이벤트에서 이상값과 예기치 못한 추세를 추적하도록 설계되었습니다. 이 알림은 자동으로 작동하며, automatic 알림을 설정하기 위해 여러분이 취해야 하는 조치는 없습니다.

Amplitude는 지난 30일 중 최소 15일 동안 하루에 100개 이상의 이벤트가 있는 경우 이벤트에서 이상값을 모니터링합니다. Amplitude는 이벤트 값이 과거 데이터의 99% 신뢰 구간을 벗어날 때 이상값이 발생한 것으로 간주합니다.

automatic 알림을 구독하고 이상값이 탐지될 때 이메일을 받으려면 Settings > Projects로 이동하여 모니터링하려는 프로젝트를 찾고 Automatic Monitors 탭을 엽니다. Not Subscribed 토글을 Subscribed로 전환합니다.

차트에 대해 Custom 또는 Smart 알림을 설정하려면 다음 단계를 따릅니다.

  1. 알림을 설정할 차트로 이동합니다. 알림을 설정하기 전에 차트를 반드시 저장하세요.
  2. 종 모양 아이콘을 클릭하여 알림을 위한 빠른 설정 도구를 열고, Smart 알림을 설정할지 Custom 알림을 설정할지 결정합니다.

insights_quick_alert_2.gif

        • Smart 알림은 99% 신뢰 구간 외부의 예기치 못한 변경 사항을 찾습니다. 
        • Custom 알림을 사용하면 값이 특정 값보다 높거나 낮은지, 또는 이전 값에 비해 지정된 수만큼 다른지 등의 맞춤 알림을 받을 조건을 더 구체적으로 지정할 수 있습니다. 신뢰 구간을 기반으로 Custom 알림을 설정할 수도 있습니다.
  1. Smart 알림을 설정할 때 알림이 여러분뿐만 아니라 다른 팀원에게도 전송되게 하려는 경우에만 Advanced Settings를 클릭합니다. Set Alert 모달의 적절한 필드에 이메일을 추가하고 Set Alert를 클릭합니다. 다른 이메일을 추가하지 않는 경우 Save를 클릭합니다.
  2. Custom 알림을 설정하려면 Custom 라디오 버튼을 클릭하여 Set Alert 모달을 엽니다. 알림 조건을 지정하고 알림을 받을 모든 사람의 이메일을 추가한 다음 Set Alert를 클릭합니다.

Custom 알림의 신뢰 구간과 통계적 유의성

Custom 알림을 설정하는 경우 95%, 98% 또는 99%의 유의성 임계값이 위반될 때 알림을 받도록 선택할 수 있습니다. 이러한 신뢰 구간은 과거 값을 가져오고 모든 데이터 포인트의 95%, 98%, 99%가 어디에 해당하는지 식별하여 결정할 수 있습니다.

insights_confidence_dropdown.png 

필요한 유의성이 높을수록 비교적 불필요한 알림을 덜 받게 됩니다. 차트에서 파란색 밴드는 신뢰 구간의 범위를 나타냅니다. 95% 신뢰 구간은 99% 신뢰 구간보다 밴드가 좁게 나타납니다. 99% 신뢰 구간은 더 많은 과거 데이터 포인트를 캡처하기 때문입니다.

알림 확인 및 관리하기

왼쪽 사이드바의 Notifications를 클릭하고 Alerts 탭을 열어서 프로젝트에 대해 최근에 트리거된 알림 리스트를 확인할 수 있습니다.

insights_in-product_alerts_2.png

프로젝트의 모든 알림 리스트를 확인할 수도 있습니다. Settings > Projects로 이동하고 확인하고자 하는 프로젝트를 선택한 다음 Custom Monitors(custom 알림) 또는 Automatic Monitors(smart 알림) 탭을 열면 됩니다. 알림을 클릭하여 편집하거나 관리하세요.

알림 이메일

알림이 트리거되면 Amplitude는 모든 수신 대상자에게 이메일을 전송합니다. 이 이메일은 일별 메트릭의 경우 프로젝트 시간대의 오전 8:00에 전송되거나, 시간별 메트릭의 이상값이 탐지된 시점의 한 시간 뒤에 전송됩니다.

insights_email.png

이메일의 차트를 클릭하면 Amplitude의 해당 차트에 바로 연결됩니다. Amplitude가 알림을 보낸 문제를 반복적으로 알려 주는 사이드 패널이 표시되므로 중요한 세부 정보를 빠지지 않고 확인할 수 있습니다.