[A/B test] Chapter 10-11. 온라인 종합 대조 실험의 보완 방법(요약)

1.💡모집단 추정과 실험보완 기법
   - 표본 수, 무작위 실험, 교란 요인 통제, 대표성, 결과 일반화가 중요.
   - AB 테스트를 위한 여러 보완 기법으로 AB 테스트 아이디어, 지표 설정 활용.
   - 로그 기반 분석으로 직관 확립 후 지표 구체화, 문제 발견 및 AB 테스트 아이디어 창출 가능.
   - 한계점과 대안은 오직 과거를 기반으로 미래를 유추하거나, 사용자 경험 연구로 사용자 의도 포착 가능하지만 대표성의 문제 발생 가능.

2.👨🏻‍🔬포커스 그룹 및 다양한 연구 방법에 대한 설명
   - 포커스 그룹은 소규모 참가자들로 구성된 질적 연구 방법으로, 마케팅과 사용자 경험 연구 등에서 활용됨.
   - 토론을 통해 다양한 관점과 의견을 수집하며, 녹음이나 비디오로 데이터를 수집해 인사이트를 도출함.
   - 포커스 그룹의 장단점은 심층적 데이터 수집과 주관성, 일반화의 한계 등이 있음.
   - 또한, 설문조사, 외부 데이터를 활용하여 목표와 상황에 맞게 적절한 연구 방법을 선택하는 것이 중요함.

3.️🎯기법의 중요성과 실험, '준'실험 설계 비교
   - 대체 기법들(feat. 인과 추론을 위한 준실험 설계)은 실험 설계를 통해 효과적으로 '인과관계'를 확인하는 방법이다.
   - 실험 설계는 독립변수를 조작하고 *무작위 배정*과 교란 요인 최소화를 통해 인과 효과를 추정한다.
   - '준'실험 설계는 실험 설계와 유사하나 무작위 배정이 어려울 때 사용되며, 인과 효과 추정에 제한이 있을 수 있다.
   - 인과 추론에서의 인과 효과 추정 기본 공식은 실험군 결과에서 대조군 결과를 뺀 값으로 선택 편향을 고려하여 실험 결과를 해석한다.

4.️🔬준실험 설계와 교차배치 실험, 도구변수의 중요성과 활용
   - 준실험 설계의 로직은 대조군과 실험군 설정하고 인과효과 추정하는 과정이 중요하며, 교란변수를 통제해야 한다.
   - 단절적 시계열과 회귀불연속 설계는 장단점이 있고, RDD는 시간에 따른 효과를, ITS는 장기 효과를 추정한다.
   - 교차배치 실험 설계는 두 가지 이상의 조건을 비교하며, 알고리즘 효과 비교를 통해 사용자 반응을 측정한다.
   - 도구변수를 사용하면 순수한 인과 관계를 추정할 수 있으며, 설명 변수와 종속 변수 사이의 올바른 관계를 파악할 수 있다.