빅데이터 & 데이터 사이언티스트

빅데이터, 이제 더이상 낯설지 않은 말입니다. 뉴스와 신문에서 빅데이터를 통해 분석한 기사를 자주볼수 있죠. 그리고 그 빅데이터의 중심에는 데이터 사이언티스트라고도 불리우는 데이터 분석가 들이 있습니다.

 

 

2012년에 하버드 비즈니스 리뷰(Harvard Business Review)는 21세기의 ‘가장 매력적인’ 직종으로 데이터 과학자를 선정하였습니다. 또 맥킨지는 2018년까지 미국에서만 140,000~190,000명의 데이터 분석 전문가가 추가로 필요할 것이고, 1,500,000명의 데이터 분석 기반의 관리자가 필요할 것이라고 예측하기도 했죠. 인기네요 :)

 

그럼 과연 Data Scientist는 어떻게 될수 있을까요?

• 통계/분석 역량: 기본적으로 데이터를 분석하고 해석할 수 있어야 합니다.
• IT능력: 데이터 소스를 찾고, 복잡한 대용량 데이터를 구조화 하거나, 불완전한 데이터를 사용할수도 있어야 합니다.
• Business 스킬: 현업의 업무지식을 기본으로, 문제해결 가설을 세워 데이터로 분석결과를 현실감각에 맞게 이해/해석하고, 해결책을 효과적으로 커뮤니케이션 해야겠죠.

이 3가지 통계, IT, 비지니스를 골고루 지녀야 합니다. 아래는 미국의 한 web사이트에서 세가지 조합으로 나온 결과를 벤다이어 그램으로 작성한 내용입니다. 그런데 왼쪽 중앙에 좀 웃낀 부분이 있네요!  Danger Zone!

 

여기서 Hacking skills는 IT역량을 Substantive Expertise는 협업능력인데 둘 만 가지고 있는 사람이 분석을 하게되면 Dangerous하다고 하네요. 잘못된 실험을 통해 잘못된 해석/실행을 할수 있다는 면을 단적으로 보여줍니다. 부지런하고 멍청한 상사가 가장 위험하다와 일맥상통하는 것 같기도 하네요. 결론적으로 분석가의 기본은 통계지식 같네요.

 

얼마전에 Big Data 컨퍼런스에 다녀올 일이 있었습니다. 패널 토크 중에 한국 정보화 진흥원에서 데이터 과학자 양성을 주무로 하시는 분도 있었죠. 그런데, 기관 주최의 빅데이터 경진대회에서 고등학생이 2위를 차지한 기록이 있다고 하더군요. 그 학생은 복잡한 통계프로그램 대신 엑셀기반으로 문제해결을 제안했다고 합니다. 간단하고, 직관적으로 이해가 쉽게요. 이런면에서는 직관, 현업의 경험도 무시하지는 못하는 것 같습니다. (어디에 포커스를 해야할지..) 

 

그리고 그 분이 한말은 "이런 3가지를 갖춘 사람은 시장에 없다"였습니다.

 

아직 빅데이터가 fad로 끝날지, 강력한 trend가 될지 관련업계 전문가들도 결론을 내리지는 못하고 있었습니다. 많은 기업들도 관심은 많지만, 가시적인 성과는 아직인 듯 합구요. 그러나 영어가 필수 였듯, 숫자를 다루는 직장인게 통계공부가 필수가 될수도 있을듯 합니다.

 

교과서적인 접근법 보다는 이해가 쉬운 통계관련책이 있으니 참고해 보세요.

 

세상에서 가장 쉬운 통계학 입문    [바로보기]

 : 약간 이론적인 면이 강하긴 하나, 이해하기 쉽게 단계별로 통계지식을 전해줍니다.

 

빅 데이터를 지배하는 통계의 힘  [바로보기]

 : 이론적이기 보다는 통계의 이론과 실제와 사례를 통해 빅픽처를 보여줍니다.

 

도움이 되셨다면 추천버튼 클릭 해 주세요!