[A/B test] Ch6. 조직 운영을 위한 지표 | 목표지표, 동인 지표, 가드레일 지표

intro

• 조직은 좋은 지표를 가져야 한다 → 설명 책임을 측정
  • OKR( Objective , Key, Results 목표, 핵심, 결과 )
  • Objective : 장기 목표
  • Results : 목표를 향한 단기적이고 측정 가능한 결과
  • 목표를 향한 진보를 추적하기 위한 좋은 지표가 필요하다 (기준, 작성 및 평가 방법)

 

지표의 분류

• 조직 지표 전체에 초점을 맞춰 논의 ( 7장 , 실험에 대한 특정 지표 논의 , 21장 실험에 경보를 주는 가드레일 지표 )
• 조직지표는 목표지표, 동인지료, 가드레일 지표가 있음

 

1. 목표 지표goal metrics = 성공지표, 북극 지표

목표 지표 : 추구하는 궁극적 성공을 포착하는 단일 or 작은 지표 집합 (조직이 궁극적으로 무엇을 신경쓰는지를 보여주는것)

• 각 이니셔티브가 지표에 미치는 영향이 작거나, 영향을 실현하는 시간이 오래 걸림
• → 단기적으로 움직이는 지표 x

목표 → 지표 : 목표의 지표화

목표 : 조직이 궁극적으로 원하는 것, 미션과 직접적으로 관련

지표 : 목표를 위해 측정 가능한 형태로 변환하는 것

• 완벽한 변환이 어려우므로 명확하게 표현해야함
• 시간에 따른 개선 필요

목표 지표의 도출 방법

• 조직의 지도자(C-Level)들은 목표 지표를 도출하기 위해 “당신의 제품이 존재하는 이유는? 귀사의 성공은 어떤 모습인가?”와 같은 질문에 대답해야 하며 이는 회사의 미션과 결부

예) 마이크로 소프트의 미션 : 지구상의 모든 사람과 모든 조직에 더 많은 것을 성취하도록 힘을 싣는다 / 구글 미션 - 세계의 정보를 정리한다

2. 동인 지표 Driver metrics = 사인 포스트 지표, 대리 지표, 간접 지표, 예측 지표

목표 지표보다 단기적으로 움직임, 더 민감한 지표

조직을 성공으로 이끌기 위한 인과관계 모델

• 성공 요인이 어떤 가설을 반영하는가
• → 성공 그 자체보다는 성공으로 이어지는 요인에 집중

무엇이 성공을 이끄는가에 대해 생각할 수 있는 몇가지 프레임워크

• HEART 프레임워크: Happiness, Engagement, Adoption, Retention, Task Success
  

  

• PIRATE 프레임워크: (AARRR(Acquisition(획득), Activation(활성), Retention(유지), Referred(조회), Revenue(매출)) 또는 전반적인 사용자 퍼널(user funnel))
  
  ✍️ Funnel(퍼널)
  
  • 깔때기
  • 제품에서 특정 결과에 도달하는데 필요한 단계를 정의하고 활용
  • 퍼널은 앞에서 뒤로 개선하는 것보다 뒤에서 앞으로 개선하는 것이 좋음
    • 결제할 사람을 확실히 결제하게 만들고, 나중에 유입을 늘리기
    • AARRR와 관련된 개념
  • 배달 앱 예시
    • 메인 화면
    • 음식점 화면
    • 음식 세부 화면
    • 장바구니 화면
    • 결제 화면
    • 결제 완료
  ✍️ AARRR Activation(활성), Retention(유지), Referred(조회), Revenue(매출)
  • Acquisition : 얼마나 제품에 접근하는가?
  • Activation : 고객이 최초의 좋은 경험을 하는가?
  • Retention : 다시 제품을 사용하는가?
  • Revenue : 얼마나 돈을 버는가?
  • Referral : 다른 사람에게 공유하는가
    
    위의 프레임워크를 통해 궁극적으로 매출을 달성하기 전에 회사는 사용자를 확보하고 그들의 제품이 사용자를 유지할 만큼 충분한 매력을 가지고 있는지 확인 가능.

3. 가드레일 지표 guardrail metric

크게 2가지로 분류됨

1. ⭐ 조직 가드레일 지표: 비즈니스를 보호하는 지표
   • 떨어지면 안되는 지표
   • 서비스에 악영향을 주었는지를 파악하는 지표
2. 신뢰도 가드레일 지표: 실험 결과의 신뢰성과 내적 타당성을 평가하는 지표 → 21장

조직 가드레일 지표

중요한 제약을 위반하지 않고, 적절한 균형을 가지고 성공을 향해 나아가기 위해 중요.

1. 가능한 많은 사용자를 등록 ↔ 사용자당 참여 수준이 급격히 떨어지면 안됨!
2. 암호 회사 : 보안(해킹, 정보도난 x) ↔ 사용 편의성 및 접근성이 떨어지면 안됨!
3. ⇒ 둘 사이 트레이드 오프
4. 기능 출시 ↔ 페이지 로드 시간이 기능때문에 크게 늘어나면 안됨!

⇒ 종종 목표 지표나 동인 지표보다 더 민감.

• 지표 예시
  1. 지연 시간: 몇 초라도 지연 시간을 증가시키면 매출 손실이 발생하고 사용자 만족도가 감소할 수 있어 가드레일 지표로 자주 사용.
  2. 페이지당 HTML 응답 크기: 만약 응답 크기가 크다면 이는 대량 코드 도입을 의미할 가능성 有 → 최적화가 필요한 불완전한 코드를 찾아내어 응답 크기를 줄이는 액션을 취할 수 있음.
  3. 페이지당 자바스크립트 오류 수: 이 지표를 브라우저별로 세분화해서 관찰한다면 자바스크립트 문제가 브라우저 종속적인지의 여부를 확인할 수 있음.
  4. 사용자당 매출: 전체적인 매출보다는 통계적 분산이 크기 때문에 가드레일로 사용하기 적합할 수 있음. 보다 민감하게 변형 가능(사용자당 매출 여부, 사용자당 매출 상한, 페이지당 매출 등)
  5. 사용자당 페이지뷰: 분모 즉, 전체 페이지뷰 수의 변화가 예기치 못한 것이라면 신중히 검토할 필요.
  6. 클라이언트 충돌: 해당 지표는 클라이언트 소프트웨어나 휴대폰 앱에서 중요한 가드레일 지표임. 사용자당 충돌 수나 전체 사용자당 충돌 여부의 평균은 분산이 작아 이른 단계에서 통계적으로 유의하므로 일반적으로 사용됨.

4. A/B테스트 지표 설정 예시

1. [헬로우봇 스킬스토어 이미지 A/B테스트] A/B 테스트의 기술
2. [당근마켓의 랜딩페이지 A/B테스트] 당근마켓의 랜딩페이지, A/B테스트를 통해 개선해보자

 

 

 

 

 

 

목표지표, 동인지표, 가드레일 지표외에 다른 ‘비즈니스 지표 분류법’, ‘실험에 대한 지표’도 존재한다!

비즈니스 지표

자산 지표 vs 참여 지표

• 자산 지표: 총 페이스북 사용자(계정) 수 또는 연결 수와 같이 정적인 자산의 축적 측정
• 참여 지표: 세션 또는 페이지뷰와 같은 사용자의 행동이나 다른 사용자의 제품 이용에 의해 받는 가치 측정

비즈니스 지표 vs 운영 지표

• 비즈니스 지표: 사용자당 매출 또는 DAU(일일 활성 사용자 수) 등 비즈니스의 상태 추적
• 운영 지표: 초당 쿼리 등 운영상의 문제가 있는지 추적

실험에 대한 지표

데이터 품질 지표

기초 실험의 내적 타당성과 신뢰도 보장(3장/21장)

진단 또는 디버그 지표

• 목표, 동인 또는 가드레일 지표가 문제를 나타내는 상황을 자세히 검토할 때 추가적인 세분화 또는 기타 정보 제공 가능
• 너무 세부적해서 지속적으로 추적x ⇒ 상황을 파악할 때 추가적으로 세분화할때 사용!페이지의 특정 영역에서 클릭을 나타내는 20개의 지표(진단 또는 디버그 지표)로 세분화 가능매출을 2가지 지표로 분해
  • **사용자의 구매 여부(0/1)**을 측정하는 지표
  • → 더 많은/적은 사람들이 구입해서 매출이 증/감
  • 구매한 경우에만 구매액을 나타내고, 그렇지 않은 경우 무효한 값을 가지는 조건부 매출 지표
  • → 평균 구매 가격이 변해서 매출이 증/감
• 평균 전체 매출은 두 지표 통합 / 각 지표는 매출에 대해 다른 의미 가짐
• 예시 2) 매출이 핵심 지표인 경우
• 예시 1) 클릭율이 핵심 지표(목표, 동인 또는 가드레일 지표)인 경우

전체적인 목표와 전략적 방향에 각 팀의 지표를 일치시키는 것의 중요성

• 각 팀은 회사의 전반적인 성공에 다르게 기여함.(어떤 팀은 채택에, 다른 팀은 보존이나 성능 지연에)
• 각 팀은 팀의 지표가 전체 회사 지표에 어떻게 연결되어 있는 지 목표와 가설 밝혀야함
• 동일한 지표가 팀마다 다른 역할 할 수 있음
  • 어떤팀 :지연 시간 → 가드레일 지표 vs 인프라팀 : 지연시간 → 성능지표/목표지표
• 전체 목표와 팀의 지표의 일치 예시
  • 목표지표 : 장기매출 / 비즈니스 동인지표 : 사용자 참여 및 보존 인 제품 개발 중인 상황
  • 제품 지원 사이트 팀 ⇒ ‘**사이트에서의 시간’**을 동인 지표로 설정하려고 할 때, 더 많은 시간이 좋은 지/나쁜 지 판단하는 기준은 “회사 전체 수준의 지표와 이해관계에 일치하는가”

지표의 공식화: 원리와 기법

질적 개념을 구체적이고 계량화할 수 있는 정의로 가져가는 것

• 예 ) 매출 → 장기 매출로 정의, 성공 측정 어려움 → 사용자 행복, 사용자 신뢰

1. 지표 개발 시 주요 원칙

목표 지표

• 단순성: 모두가 쉽게 이해하고 폭넓게 수용 가능해야 함.
• 안정성: 새로운 기능을 실행할 때마다 업데이트할 필요가 없어야 함.

동인 지표

• 목표와 이해 관계 일치 여부: 동인 지표가 성공의 동인인지 검증해야 함. 이를 위해 실험을 실행하기도 함.
• 행동 가능 및 관련성 여부: 어떤 행동을 통해 동인 지표를 움직일 수 있다고 믿어야 함.
• 민감성 여부: 대부분의 이니셔티브로부터의 영향을 측정하기 위해 충분히 민감한지 확인(변동 가능성)</aside>
• <aside> ✅ 이니셔티브: 일상적인 과업을 말하는 게 아니라, 비전/목적/방향을 향하여 과거와는 다른 특별한 과제 또는 프로젝트를 추진하지 않으면 안되는 상황에서 목표를 달성하기 위한 행동
• 조작에 대한 내성 여부: 개인의 유인이나 행동이 지표를 움직이고 조작할 가능성이 없어야 함.

2. 지표 개발을 위한 유용한 기법과 고려 사항

 

3. 지표의 평가

• 보통 지표평가와 검증은 공식적 단계에서 이루어짐
• 시간이 지남에 따라 지속적으로 이루어져야 하는 작업 존재
  • 생애가치(LTV) 지표는 시간 경과에 따라 평가해서 예측 오류가 작게 유지되도록 해야 함.
        ✅ 생애가치(LTV) 지표 ? 고객이 평생 우리 서비스에 얼만큼을 지불할 것인가를 측정하는 지표
  • 실험에 많이 의존하는 지표는 주기적으로 평가해 조작을 초래하는지 여부를 결정해야 함.
• 예) 새 지표를 추가하기 전에 기존 지표와 비교해 추가 정보를 제공하는지 여부 평가

 

4. 인과관계(동인 지표, 가드레일 지표 → 목표 지표)를 검증하기 위한 접근법

1. 설문조사 포커스 그룹, 사용자 경험 연구(UER) 등의 모든 데이터 소스가 같은 방향을 가리키고 있는지 확인
2. 세심하게 수행된 관찰 연구에 대한 관측 자료 분석을 통해 인과관계 가설 무효화 가능 (인과관계 확립은 어려움)
3. 다른 회사에서의 유사한 검증 확인
   1. 사이트 속도가 매출과 사용자 참여에 어떤 영향을 미치는지에 대한 연구
   2. 앱 크기가 앱 다운로드에 미치는 영향을 보여주는 연구
4. 지표 평가를 위한 실험
   1. 원인: 고객 충성도 프로그램 → 결과: 고객 유지율↑, 고객 LTV↑
   2. ⇒ 고객 충성도 프로그램을 서서히 롤아웃(출시)하면서 유지율과 고객 LTV가 증가하는지 실험 (실험 결과를 일반화하기 위한 작업 또한 따로 필요함.)
5. 과거에 축적된 실험 자료 사용하여 지표의 민감도와 인과관계의 정합성 확인 가능 (이때, 과거 실험을 잘 이해하고 신뢰하는 것이 중요)

 

 

5. 지표의 진화

지표의 변화(진화) 이유

1. 비즈니스의 진화
   • 비즈니스의 성장 → 경영의 다각화 → 비즈니스의 초점 변경 (고객의 획득(Acquisition) → 참여(Activation) 및 유지(Retention))
   • e.g.) 전기차 사용자층의 변화: 기술 수용이 빠른 얼리 어답터 → 다수의 수용으로 인한 대중화
2. 환경 진화
   • 경쟁 구도 변화, 사용자들의 사생활에 대한 우려, 새로운 정부 정책 시행 → 비즈니스의 초점이나 관점 변경 → 지표 변화
3. 측정 기준에 대한 이해의 진화
   • 개발 단계에서의 지표 측정 기준이 실제 성능을 관찰할 때 지표를 더 세분화하거나, 상이한 지표로 개선할 여지가 있음.
   • 지표를 조사하고 기존 지표를 수정하는 데 들이는 시간과 노력은 EVI가 높음. 이때 올바른 방향성을 갖추는 것이 중요.
     • EVI(정보의 기대가치, Expected Value of Information): 추가 정보나 의사결정에 어떻게 도움이 되는지를 포착하는 개념