책 Review - 신호와 소음

 

이번 포스팅은 2014년에 초판 발행된 (현재는 개정판이 나와있습니다)  "신호와 소음" (네이트 실버 지음, 이경식 옮김, 더 퀘스트) 이라는 책에 대한 리뷰입니다.

 

 

"예측"이라는 하나의 주제로 내용을 다루는데, 700페이지가 넘는 두꺼운 책이지만 흥미롭게 읽을 수 있던 책입니다.

저자는 오늘날과 같은 빅데이터 시대에 어떻게 하면 데이터 속의 소음을 걸러내고 신호만 취득하여 미래를 잘 예측하고 실수를 조금이라도 줄일 수 있을까에 대한 물음에 대한 답 하기 위하여 책을 썼다고 합니다.

 

책은 크게 경제, 기상, 지진, 전염병 등을 예측하는 것이 매우 어렵다는 것을 다양한 사례를 통해 제시하고, 예측의 정확도를 높일 수 있는 실용적 방법을 제시하는 것으로 구성되어 있습니다.

 

위의 실용적 방법을 활용하는 데 있어 기본 전제 혹은 태도는, 모든 예측의 불확실성을 인정하고 예측의 정확도를 높이기 위해 부단히 예측을 수정하고 발전시켜야 한다는 것입니다.

 

우리 대부분은 불확실성을 기본적으로 꺼리는 경향이 있습니다. 회사의 상사에게 무언가를 보고할 때 불확실성이 포함된 결과가 포함되어 있으면, "그래서 결론이 뭐야?" 라는 물음을 받은 적이 있습니다. 반대로 저 또한 주식의 방향 등의 예측을 전문가들로부터 들을 때, "오를 수도 있고 내릴 수도 있습니다" 라는 식의 견해를 들으면 똑같이 답답한 마음을 가졌던 적이 많습니다.

 

그러나 책에서는 확신에 찬 예측을 하는 사람들보다 오히려 에측의 불확실성을 인정하고 자신의 예측을 계속 발전시켜나가는 사람들의 예측이 더욱 정확도가 높다는 것을 보여주고 있습니다. 저자는 이를 여우와 고슴도치로 비유하고 여우와 같은 예측가에 예측가로써 더욱 높은 점수를 주고 있습니다. 아래는 책에게 소개된 여우와 고슴도치의 특성입니다.

(p91 내용 중 일부 발췌)

여우	고슴도치
여러 분야에 걸쳐서 생각한다	구체적으로 생각한다
적용할 수 있는 것을 생각한다	대범하게 생각한다
자기 비판적으로 생각한다	고집스럽게 생각한다
..중략..

 

그렇다면 어떻게 하면 여우와 같은 예측가를 지향할 수 있는가에 대한 대답으로는 베이즈주의적 사고를 제시합니다.

 

베이즈주의적인 사고는 쉽게 말하면 모든 현상을 확률적으로 보는 사고입니다. 책에서 재미있는 예시를 하나 제시하는데 간단히 소개해드리겠습니다. 만약에 내가 결혼한 여자라고 가정할 때, 남편의 방에서 못 보던 여성의 속옷이 나왔다면 남편이 바람을 피울 확률을 몇으로 봐야 할까요? 이를 베이즈주의적인 사고를 통해 확률을 계산한 과정이 아래와 같습니다.

 

먼저 베이즈 정리를 구성하는 세 가지 요소는 사전확률, 새로운 사건 발생, 사후 확률입니다.

(기계 학습이나 통계를 다룰 때 너무 자주 듣는 Prior, likelihood, Posterior 입니다)

 

첫째, 남편이 바람을 피운다는 가정 하에 속옷이 등장했을 때 확률을 y%로 설정하였습니다.

둘째, 남편이 바람을 피우지 않는다는 가정 하에 속옷이 등장했을 확률은 z%로 설정하였습니다.

셋째, 이게 가장 중요한 데 속옷을 발견하기 전에 남편이 바람을 피울 확률(사전확률)입니다. 이는 그동안의 경험 또는 관찰을 통해 결정할 수 있습니다. (평소에 남편이 너무 청렴결백한 모습만 봐서) 이를 x%로 설정하였습니다.

이를 베이즈 정리를 이용하면 사후 확률 즉, 속옷을 발견했을 때 남편이 바람을 피울 가능성을 계산할 수 있습니다.

(책 소개 포스팅이므로 자세한 수식은 생략하겠습니다! 책에 간략하게 나와있으며, 인터넷에 검색하면 어마무지하게 많이 나오고 있습니다.)

 

그러나 시간이 지나고 보니 남편이 최근 좀 이상합니다. 예를 들면, 밤에 몰래 어디에 전화를 한다든가 외출 후 귀가가 늦어집니다.(스토리가 재미없는데 이 부분은 책의 내용 아니고 제가 만들어낸 이야기입니다). 이런 경우 남편이 바람을 피울 확률의 초기 추정치 즉 사전 확률을 늘릴 수가 있습니다. 이럴 경우 사후 확률은 초기 예측보다 매우 높게 나타날 수 있습니다. 

 

이처럼 베이즈주의의 특성은 새로운 증거가 나오면 기존의 예측을 업데이트하여 예측의 확률을 점점 더 높일 수 있다는 것입니다.

 

위의 내용을 읽으면서는 깊은 인상을 받았습니다. 학창 시절과 회사 업무 중에서 베이즈 이론에 대해 배우고 고려했던 적이 있는데, 이를 일상 예측에서 사용하는 예시를 들어 쉽게 설명해 주는 게 너무 유용하다고 느껴졌습니다.

 

책의 마지막장을 덮자마자 저자가 제안한 베이즈주의적 사고방식을 실제로 예측의 도구로써 곧장 활용해볼 수 있을 것 같다는 생각이 들었습니다. 또한 세상에 "100% 확실한 것은 (거의) 없으며 (주식이 오를지 내릴지, 금리가 오를지 내릴지 모른다), 다만 진리에 다가가기 위해 새로운 증거를 받아들이고, 조금씩 소음을 걷어내고 신호를 감지하며 전진하는 태도를 통해 예측의 정확도를 0.1%라도 올린다면 모든 것이 확률인 싸움에서 이길 수 있겠다"라고 느꼈습니다.

 

위에서 언급한 내용이 책의 큰 주제와 내용이지만 700 페이지의 많은 분량을 간략히 요약한 것이기에 저자가 전하고자 하는 내용의 극히 일부입니다. 직접 읽어보신다면 재미있고 유익한 내용을 더욱 많이 접하실 수 있다고 생각합니다.

 

오늘 포스팅도 읽어주셔서 감사합니다. 모두 좋은 하루 보내시길 바랍니다!