11월 평가 면담 자리에서 우리는 대개 '수치화된 성과 지표'와 마주합니다. 물론 우리는 목표 대비 달성률, 전년 대비 증감, 동료 평균과의 차이가 소수점 첫째 자리까지 적힌 이 숫자를 객관적인 결과로 받아들입니다. 그러다 보니 이 숫자가 어떤 근거로 나왔는지 궁금해도 선뜻 묻기가 어렵습니다.
하지만 숫자로 적혀 있다는 것만으로는 제대로 검증을 거쳤는지 알 수 없습니다. 숫자를 근거로 내세우면서도 정작 그 숫자는 따져 보지 않은 판단, 이것이 '위험할 정도로만 과학적인' 판단입니다. 하버드 경영대학원 스테판 톰키 교수는 신간 《과학적 사고방식(The Scientific Mindset)》에서 가설을 세우고 엄밀하게 검증해 판단하는 방법을 다룹니다(책은 11월 10일 미국에서 출간됐습니다). 그는 저서를 통해 여전히 많은 리더가 직감에 기대거나 자신의 오랜 가정을 의심하지 않는다고 말합니다. 우리는 여기서 한 걸음 더 나아가, 직감에 기댄 판단보다 과학의 형식만 빌린 판단이 더 문제라는 점을 함께 짚어 보려 합니다.
팀원은 팀장이 "내 감으로는 이쪽이 맞다"고 말하면 "그렇게 보시는 근거가 무엇입니까"라고 묻게 됩니다. 팀장 스스로 감이라고 했으니 팀원 입장에서는 오히려 입증해야 할 부담이 적은 것이 사실입니다(책임은 팀장이 질 테니 말이죠). 다만 팀장이 "고객 조사에서 A안 선호도가 70%로 나왔다"는 슬라이드를 띄우면 팀원은 이를 굳이 검증하려고 하지 않습니다. 팀장이 '숫자'로 답했기 때문이죠. A안 대신 B안을 선택해야 한다고 팀장에게 말하려면 팀원은 그 숫자에 맞설 숫자를 직접 제시해야 하는데, 쉬운 일이 아니어서 포기하는 경우가 많습니다. 반대로 팀원이 '전년 대비 20% 개선'이라는 숫자를 보고서에 담아 올리면 이번에는 팀장이 같은 처지가 됩니다. 그 숫자를 반박하려면 팀장도 다른 숫자를 찾아와야 하니까요. 숫자가 반론을 막는 일은 직급과 상관없이 일어납니다.
이처럼 우리는 조직에서 판단을 내릴 때 직감보다 숫자를 근거로 삼은 판단을 더 신뢰하는 경향이 있습니다. 하지만 그 숫자가 어디서 나왔고 실제로 무엇을 뜻하는지는 깊이 파고들지 않죠. 과학적 방법에 바탕을 둔 판단은 분명 훌륭하지만, 겉으로만 과학적일 뿐 실제로는 그렇지 않은 경우가 많습니다. 이를 다섯 가지 유형으로 정리해 봤습니다.
첫째는 부적절한 비교입니다. 비교 기준이 되는 대조군 없이 결론을 확신하는 경우입니다. "제도를 바꿨더니 실적이 올랐다"는 보고가 대표적이죠. 전후 숫자가 있으니 근거를 갖춘 것처럼 보이지만, 제도를 바꾸지 않아도 실적은 오를 수 있습니다. 스마트폰이 지금처럼 퍼지기 전, 뱅크오브아메리카의 한 팀이 지점을 찾는 고객의 불편을 줄일 방법을 고민했습니다. 조사 결과, 고객은 줄을 선 지 3분이 넘으면 기다린 시간을 실제보다 훨씬 길게 느꼈습니다. 5분을 기다린 고객이 10분을 기다렸다고 느낄 정도였습니다. 팀은 지점에 TV를 달면 고객이 TV를 보느라 대기 시간을 짧게 느낄 것이라고 예상했습니다. 이 예상을 확인하려고 한 지점에만 TV를 달고, 조건이 비슷한 다른 지점에는 달지 않았습니다. 그 결과 TV를 달지 않은 지점보다 TV를 단 지점의 고객이 대기 시간을 더 짧게 느꼈습니다. 흔히 한 지점에서 설치 전과 후만 비교하는데, 이 팀은 TV를 단 지점과 달지 않은 지점(대조군)을 따로 두고 비교해 TV의 효과를 정확하게 파악한 셈이죠.
둘째는 인과의 단순화입니다. 복잡한 현실 속 수많은 원인을 하나로 줄여서 설명하는 경우입니다. 기업의 매출은 금리, 환율, 경쟁사의 신제품, 심지어 날씨에 따라서도 동시에 움직입니다.¹ 이렇게 원인이 많이 얽혀 있으면 조치 하나의 효과만 따로 떼어 확인하기가 어렵습니다. 그런데도 누군가 "내가 추진한 조치 덕분에 매출이 올랐다"고 말하면 설명이 단순해서 그럴듯하게 들립니다. 자기 조치와 매출이 함께 오른 그래프를 만들기도 어렵지 않습니다. 하지만 우리는 압니다. 그래프만으로는 그 조치가 매출에 얼마나 영향을 미쳤는지 정확히 밝힐 수 없다는 걸요. 같은 기간에 환율도, 경쟁사 사정도 함께 움직였으니까요.
셋째는 선택적 데이터 해석입니다. 결론을 먼저 정해 둔 사람이 자기 생각에 맞지 않는 데이터를 '고문'하거나 무시하는 경우입니다. 데이터를 고문한다는 것은 원하는 답이 나올 때까지 분석 방법을 바꿔 가며 같은 데이터를 계속 다시 분석한다는 뜻입니다. 실제로 분석 담당자는 기간을 바꾸고, 표본을 나누고, 기준을 달리하며 원하는 숫자가 나올 때까지 작업을 되풀이합니다. 이렇게 여러 번 돌리다 보면 우연히라도 원하는 숫자가 나오기 마련입니다. 끝내 원하는 숫자가 나오지 않으면 그 분석은 보고서에서 조용히 빼 버리죠. 이것이 데이터를 무시하는 경우입니다. 어느 쪽이든 보고서에는 결론에 맞는 숫자만 남고, 읽는 사람은 데이터가 결론을 뒷받침한다고 믿게 됩니다.
넷째는 실험의 목적 상실입니다. 무엇이든 실험부터 하고 보는 테스트 만능주의입니다. 미국의 반려동물용품 유통사 펫코에서는 한 품목의 가격을 12센트(우리 돈으로 200원이 안 됩니다) 올렸을 때의 영향을 실험해 보자는 요청이 사내에서 잇따랐고, 회사는 이를 반려해야 했습니다. 직원들이 결과가 어떻게 나오든 결정에 별 차이가 없는 사소한 안건까지 실험하려 들었기 때문입니다. 실험은 중요한 결정을 앞두고 불확실한 점을 확인하는 수단입니다. 그런데 실험 자체가 목적이 되면 무엇을 실험할 가치가 있는지는 따지지 않고 실험 건수만 늘어납니다. 실험에도 시간과 인력이 드는 만큼, 사소한 실험이 늘수록 정말 확인해야 할 질문에 쓸 여력은 줄어듭니다. 앱 화면의 버튼 색깔을 바꾸는 실험은 수십 번 하면서, 정작 '고객이 이 서비스에 매달 구독료를 낼 것인가'처럼 사업의 성패를 가를 질문은 한 번도 검증하지 않고 넘어가는 식입니다.
다섯째는 단기 지표 최적화입니다. 눈앞의 숫자를 올리는 데 매달리다가 회사가 장기적으로 지켜야 할 목표를 해치는 경우입니다. 검색 횟수를 늘리는 것을 목표로 삼은 검색 엔진이 있다고 해 보죠. 검색 결과의 품질이 떨어지면 사용자는 원하는 답을 찾을 때까지 검색을 되풀이하니 검색 횟수는 오히려 늘어납니다. 단기적으로는 목표를 달성한 겁니다. 하지만 원하는 답을 찾지 못한 사용자는 결국 다른 검색 엔진으로 옮겨 갑니다. 톰키와 마이크로소프트의 론 코하비도 2017년 하버드비즈니스리뷰에 쓴 글에서 이런 이득은 오래가지 못한다고 지적했습니다. 검색 횟수가 늘어나는 동안 검색 엔진은 사용자를 잃고 있었던 셈입니다. 그런데 사용자가 빠져나가는 모습은 검색 횟수에 드러나지 않으니, 회의에서 이 지표가 잘못됐다고 말하기도 어렵습니다. 숫자를 올리기 전에, 장기적으로 무엇을 지표로 삼을지부터 따져야 하는 이유입니다.