[제27회 세계지식포럼] 가짜통계의 함정과 팩트 체크의 기술

-알렉스 에드먼스 (런던비즈니스 스쿨 교수) 

 

도입 — 왜 이 얘기가 중요한가

- 우리는 결정을 내릴 때 근거(연구·데이터)에 기댄다. 하지만 모든 연구가 견고한 건 아니라서, 그 연구가 얼마나 탄탄한지 스스로 판단할 수 있어야 한다는 문제의식에서 출발

-  "진실만으로는 충분하지 않다(Truth is not enough)": "모유수유가 IQ에 중요하다"는 사실 자체는 틀리지 않았을 수 있지만, 다른 문맥이나 요인들을 놓치면 더 넓은 맥락을 못 보고 오해로 이어질 수 있음

-  우리의 편향을 경계해야 한다: 내 관점을 뒷받침하는 정보를 보면 기분이 좋아지고, 그래서 그런 정보를 선택할 확률이 높아진다. 그 편향이 아무리 미묘해도 판단을 흔들기엔 충분함

 

핵심 프레임워크: 오인의 사다리(Ladder of Misinference)

"아무리 사실이어도 넓은 맥락을 놓칠 수 있는데, 바쁜 와중에 모든 걸 다 확인할 수 있나?"라는 질문에서 출발해, 4단계로 점검하는 체계를 제시했습니다.

 

1단계 — 진술은 사실(Fact)이 아닐 수 있다

-  "무엇이 말해졌는가"와 "무엇이 실제로 측정됐는가"는 다를 수 있음. 우리는 늘 "인용된 말들" 속에서 살아간다는 지적

-  데이터가 체리피킹(입맛에 맞는 것만 골라 보여주기)됐을 수 있음. 예: "5시간 수면이 6·7·8시간 수면 보다도 injury확률이 적은데, 실제로는 5시간 수면 데이터는 삭제되고 6,7,8 시간 수면 데이터만 언급되어 수면시간이 많을수록 다칠 확률이 적어진다는 주장으로 인용되는 식) 

-  실제 사례로 든 오피오이드(마약성 진통제) 사태: 학술지 논문의 극히 일부 내용만을 근거로, 실제로는 훨씬 신중해야 했을 처방이 1,700건이나 이뤄진 적이 있었다는 지적

 

2단계 — 사실(Fact)은 데이터(Data)가 아닐 수 있다

-  "전체 그림을 보고 있는가?"를 물어야 함. 그 사실이 체리피킹된 사례일 수 있기 때문

-  애플, 위키피디아, 라이트 형제처럼 "왜(Why)로 시작해서 성공한" 유명 사례들을 예로 들었지만, 이 사례들은 서로 고립된 개별 사례일 뿐. 실제로 "왜?"를 물으며 시작한 모든 기업·사람이 다 성공한 건 아니라는 지적(생존자 편향)

 

3단계 — 데이터(Data)는 증거(Evidence)가 아닐 수 있다

-  "반대를 상상해보라(Imagine the opposite)": 내가 믿고 싶은 가설이 있다면, 그 가설의 반대 논리를 어떻게 반박할지 먼저 생각해봐야 함 (어쩌면 이 세션을 관통하는 핵심) 

-  예시: "모유수유가 아이의 지능에 중요하다"는 가설에 대해, "중요하지 않을 수도 있다 : 애초에 모유수유를 택할 만큼 여유 있는 가정환경이나 경제적 배경 자체가 지능에 영향을 준 것 아닌가?"라는 반대 가설을 상상해 보는 방식(교란변수 점검)

 

4단계 — 증거(Evidence)는 증명(Proof)이 아닐 수 있다

-  "맥락(설정, 범위)을 확인하라": 실제로 신체 건강한 사람들만 대상으로 한 실험인지 , 실제 비행 상황에서 한 실험인지 땅 위에서 한 실험인지 등을 따져봐야 함

-  예시(그릿 연구): 이미 체력 수준이 일정 이상인 사람들에게는 "체력보다 그릿(끈기)이 중요하다"는 결론이 통할 수 있지만, 그런 조건을 갖추지 못한 일반 여성들에게는 오히려 체력 자체를 키우는 게 더 중요할 수 있음 — 즉 연구 결과가 모든 사람에게 보편적으로 적용되는 건 아니라는 경고

이 세션에서 뽑을 수 있는 핵심 인사이트

1. "사실 → 데이터 → 증거 → 증명"으로 갈수록 검증 강도가 세져야 한다 

어느 한 단계만 통과했다고 그 다음 단계까지 자동으로 성립하는 게 아니라는 게 이 프레임워크의 핵심. "이거 사실이야"에서 멈추지 말고 "전체 그림인가, 반대 가설은 없나, 이 맥락에서만 성립하는 건 아닌가"까지 물어야 함

 

2. 체리피킹은 거짓말이 아니라 "일부만 보여주는 것"으로 이뤄진다 

이게 더 위험한 이유는, 보여준 정보 자체는 진짜(사실)이기 때문. 오피오이드 사례처럼 파급력이 큰 결정일수록 원자료를 직접 확인하는 습관이 중요

 

3. "반대를 상상해보라"는 원칙과 과거 연재한 글의 연관성

워시-그린스펀 편에서 "매파 발언 = 긴장"이라는 표면적 해석 대신 반대 논리(생산성 혁명)를 찾아봤던 것, 국채금리 상승 요인을 하나로 단정하지 않고 여러 각도(재정적자, AI 회사채, 엔저 방어)로 검증했던 것