자기계발10억 차이는 얼마든지 발생할 수 있다? \

10억 차이는 얼마든지 발생할 수 있다? '차이'를 판단하는 기준

[DBR/동아비즈니스리뷰] 연 매출액이 1조 원이 넘는 한 대기업이 있다. 당시 그 대기업은 아시아 지역에서의 매출액 확대에 사활을 걸고 있었고, 같은 동남아시아 지역에 속하며 인구 및 경제 규모가 비슷한 국가 A와 국가 B에서의 영업 성과를 비교하며 향후 전략을 수정·보완하는 중이었다. 그런데 두 국가에서의 지난 30년간 영업 성과를 두고 임원들 사이에서 갑론을박이 벌어졌다. 국가 A의 지난 30년간 매출액 평균이 같은 기간 국가 B의 매출액 평균보다 약 10억 원 정도 높았는데 이를 두고 이것이 과연 유의미한 차이인지, 미미한 차이에 불과한 것인지 논쟁이 벌어진 것이다. 영업 총괄임원은 ‘그 정도의 차이는 중요하지 않은 요인에 의해서 얼마든지 발생할 수 있으므로 큰 의미가 없다’는 입장이었고, 반면 재무 총괄임원은 ‘10억이면 우리 회사 신제품 하나의 초기 R&D 투자액에 달하는 금액인데 어떻게 이를 무시할 수 있겠는가’라는 입장이었다. 

맥락은 다르겠지만 이와 같이 ‘애매한’ 논쟁 상황은 사실 기업 실무는 물론 개인의 일상생활에서도 매우 빈번하게 발생한다. 두 집단의 평균치 차이를 두고 이것이 두 집단 사이의 ‘진짜 차이’를 반영한 결과인지, 아니면 단순히 ‘우연’에 의한 결과인지 모두가 수긍할 수 있는 객관적인 답을 내놓기 쉽지 않은 상황이다. 이와 같은 애매한 논쟁은 서로 다른 관점에서의 통상적인 갑론을박으로는 결코 해결되지 않는다. 그렇다면 어떻게 하는 것이 좋을까. 우리는 객관적인 논쟁 해결을 위해 계량분석 이론을 통한 ‘과학적’ 도움을 받을 수 있다. 



통계의 기초, 가설은 어떻게 설정하는가?

위 사례는 통계학의 '두 집단 간 평균 차이에 대한 검정(Testing differences between two group means)'이 필요한 전형적인 상황이다. 10억 원의 매출액 차이처럼 관측된 통계치가 통계적으로 유의한지, 아닌지를 판단하는 일련의 과정을 '검정'이라 한다.

다양한 계량분석 기법들은 모두 가설 검정을 위한 과학적 도구들이라는 공통점을 가진다. 검정에 앞서 통계학에서는 보통 두 가지 가설을 설정한다. 바로 영가설과 대립가설이다. 쉽게 설명하자면, 영가설은 '내가 반박해야 하는 가설' 또는 '관찰된 것은 단순히 우연에 의한 결과임을 상정하는 가설'을 말한다. 영어로 'Null(무효의, 아무런 가치가 없는) hypothesis'라고 부르는데 의미 있는 차이점이 없을 것이라는 뜻에서다. 반면 대립가설은 '내가 주장 또는 입증하고자 하는 가설' 혹은 '관찰된 것이 단순히 우연에 의한 결과가 아님을 상정하는 가설'을 말한다. 
출처 게티이미지뱅크
법정의 상황을 예로 들면 이해하기 쉽다. 사건을 수사하는 검사가 입증하고자 하는 대립가설은 '피고는 유죄이며 관찰된 증거들은 단순히 우연에 의한 결과가 아니다'란 것이다. 반면 검사가 반박해야 하는 영가설은 '피고는 무죄이며 관찰된 증거들은 단순히 우연에 의한 결과에 불과하다'는 것이다. 검사의 직무는 판사가 영가설을 기각하도록 하는 것에 있다. 의사가 병을 진단하는 것 역시 마찬가지다. '환자에겐 병이 있으며, 관찰된 증상들은 단순히 우연에 의한 것이 아니다'를 입증하는 것이 의사의 역할이자 대립가설이다. 

위의 대기업 사례에서의 논쟁도 영가설과 대립가설로 명쾌하게 정리할 수 있다. 영가설은 '약 10억 원의 매출액 평균 차이는 우연에 의한 것이며 따라서 두 국가의 영업실적 사이에 통계적으로 유의한 차이는 없다'는 주장이다. 대립가설은 '약 10억 원의 매출액 평균 차이는 우연에 의해 발생하기에 너무 큰 수치이며 따라서 두 국가의 영업실적 사이에 통계적으로 유의한 차이가 있다'는 것이다.


두 집단의 평균 차이를 비교하는 세 가지 단계

간단한 세 가지 단계만 거치면 두 임원 사이의 논쟁을 해결할 수 있다. 

(1) 두 집단의 평균 차이를 계산하고 영가설과 대립가설을 설정한다.
가령 국가 A와 국가 B 같은 두 집단의 평균치 사이의 차이를 계산하고 가설을 설정하는데, 다시 한 번 강조하지만 영가설은 두 집단 간 유의한 차이는 없다는 것이다. 

(2) '두 집단의 평균치 사이의 차이'라는 통계치에 대한 표준오차(Standard error)를 계산한다.
이때 두 집단이 상호 독립이라면 두 개의 평균치 간 차이의 표준오차는 두 집단 평균의 분산을 더한 후 제곱근을 취하는 방법으로 간단히 계산된다. 

(3) 1단계에서 구한 값을 2단계의 값으로 나눠준다.
이 값을 z라고 해보자. z가 2보다 크면 95% 신뢰 수준에서 영가설을 기각한다. 즉, 두 집단 평균치 사이의 관측된 차이는 우연에 의한 것으로 보기에 너무 큰 수치이므로 통계적으로 유의한 '진짜 차이'가 있을 것이라는 결론을 내리는 것이다. 
출처 게티이미지뱅크
세 단계가 실무에서 어떻게 활용되는지 살펴보자. 다국적 기업 P사는 매년 한국 시장에서 소비자 만족도 조사를 시행한다. 2017년 소비자 만족도의 평균 점수는 66점으로 전년도보다 2점이 올랐다. 반면 평균의 표준오차는 2016년 0.35에서 2017년 0.32로 줄었다.

관측된 2점의 차이는 유의한 차이인가, 아니면 단순히 우연에 의한 차이겠는가. 위의 세 단계를 따라가 보면 절대 복잡하지 않다. 첫째, 관측된 차이는 2점이고, 영가설을 '두 해의 소비자 만족도 평균치 사이에 유의한 차이는 없으며, 관측된 차이인 2점은 단순히 우연에 의한 것이다'로 설정한다. 둘째, 두 평균치 사이의 관측된 차이에 대한 표준오차를 계산한다. 2016년과 2017년 소비자 만족도 조사에 참여한 소비자들이 상호 독립이라는 가정하에 두 표준오차 제곱의 합에 제곱근을 씌워 계산할 수 있다. 
셋째, 첫 번째 단계에서 구한 값 2를 두 번째 단계에서 구한 0.47로 나눠주면 z 값은 4.25로 계산된다. 이는 2보다 훨씬 큰 수치로 95% 신뢰 수준에서 영가설을 기각해야 한다. 따라서 P사의 마케팅 임원은 2016년 대비 2017년의 소비자 만족도가 상승한 것은 우연으로 보기엔 큰 수치이며, 통계적으로 의미 있는 상승이라고 긍정적으로 전망할 수 있다. 


통계적 유의성과 경제적 유의성은 구분돼야 한다.

계량 분석 이론은 기업에서의 애매한 논쟁을 명쾌하게 해결할 수 있도록 도와준다. 그러나 반드시 유념해야 할 점이 있다. 계량분석 이론을 통해 내리는 결론은 '통계적 결론'이라는 점이다. 통계적 유의성이 다른 유의성을 위한 필요조건이 될 수는 있으나 그 자체로서 항상 충분조건이 되는 것은 아니다. 예로, P사가 두 번의 소비자 만족도 조사 사이에 어마어마한 비용을 지출해 획기적인 제품 개선을 했다면 2점의 소비자 만족도 향상은 '통계적'으로만 유의할 뿐 투자 대비 효용 측면에서는 의미가 없다고 해석될 여지가 있다. 계량분석을 할 때 반드시 경제적 유의성과 통계적 유의성을 구분해야 한다.
출처 게티이미지뱅크
비과학적인 의사결정은 사소한 것일지라도 기업의 생존을 위협할 수 있다. 예전에는 경험 많은 임원의 말이 과학적 의사결정의 최선의 근거로서 기능했다. 그러나 이젠 방대하게 축적된 객관적인 데이터가 그 역할을 대신할 수 있게 됐다. 단, 정제되지 않은 데이터는 아무런 효용을 주지 못한다. 데이터를 정제해 과학적 의사결정의 도구로 사용할 수 있는 기업만이 엄청난 효용을 누릴 수 있으며 그 출발점은 데이터 분석의 발판이 되는 계량분석 기초에 대한 관심과 이해에서 비롯돼야 한다. 

* 함께 보면 좋은 콘텐츠 : 분석과 직관 사이에서 정신적인 양손잡이 되기

출처 프리미엄 경영 매거진 DBR 249호
필자 신선호


인터비즈 문채영, 임현석 정리
inter-biz@naver.com
찜하기이글을 다시 읽고 싶다면
위로가기