웅지의 개발새발

1. 분석 방법론 개요

1) 기업의 합리적 의사결정을 가로막는 장애요소

-고정관념, 편향된 생각, 프레이밍 효과

2) 방법론의 적용 업무의 특성에 따른 모델

-폭포수 모델(Waterfall Model)

-프로토타입 모델(Prototype Model)

-나선형 모델(Spiral Model)

2. KDD 분석 방법론

-데이터셋 선택 : DB 또는 원시 데이터에서 분석에 필요한 데이터 선택. 데이터마이닝에 필요한 목표데이터를 구성

-데이터 전처리 : 분석 대상용 데이터 셋에 포함된 잡음, 이상치, 결측지를 식별하고 필요시 제거 or 의미 있는 데이터로 재처리.

-데이터 변환 : 분석 목적에 맞게 변수를 생성, 선책하고 데이터의 차원을 축소. 학습용 데이터, 시험용 데이터로 분리.

-데이터 마이닝 : 학습용 데이터를 이용해 분석목적에 맞는 데이터마이닝 기법 선택.

-결과 평가 : 데이터마이닝 결과에 대한 해석과 평가, 분석 목적과의 일치성 확인.

=> 각 단계마다 필요 시 이전 단계를 반복할 수 있음.

3. CRISP-DM 분석 방법론

-업무 이해 : 업무 목적 파악, 요구사항 이해.

-데이터 이해 : 분석을 위한 초기 데이터 수집, 속성 이해

-데이터 준비 : 분석 기법에 적합한 데이터를 편성(많은 시간 소요 가능)

-모델링 : 모델링 기법 및 알고리즘 선택. 모델 평가.

-평가 : 분석 결과인 모델링 결과가 프로젝트 목적에 부합하는지 평가

-전개 : 전개 계획 수립, 유지보수 계획 마련

4. 빅데이터 분석 방법론

1) 빅데이터 분석의 계층적 프로세스

2) 빅데이터 분석 방법론 5단계

1. 분석 기획의 특징

1) 분석 기획 : 실제 분석을 수행하기에 앞서 분석을 수행할 과제를 정의하고, 의도했던 결과를 도출할 수 있도록 이를 적절하게 관리할 수 있는 방안을 사전에 계획하는 일련의 작업

2) 데이터 사이언티스트의 역량 : 수학/통계학적 지식, 정보기술(IT, 해킹, 통신 기술 등), 비즈니스에 대한 이해와 전문성

2. 분석 대상과 방법 : 분석은 분석의 대상(What)과 분석의 방법(How)에 따라 4가지로 분류

3. 목표 시점별 분석 기획 방안

4. 분석 기획 시 고려사항

-분석의 기본인 가용 데이터에 대한 고려가 필요

-분석을 통해 가치가 창출될 수 있는 적절한 활용방안과 유즈 케이스 탐색이 필요

-분석 수행시 발생하는 장애요소드렝 대한 사전계획 수립이 필요

1. 빅데이터의 시대

-빅데이터 분석은 선거결과에 결정적인 영향을 미칠 수도 있고, 기업들에게 비용절감,시간 절약, 매출 증대, 고객 서비스 향상, 신규 비즈니스 창출, 내부 의사결정 지원 등에 있어 상당한 가치를 발휘하고 있음.

2. 빅데이터 회의론을 넘어 가치 패러다임의 변화

3. 데이터 사이언스의 한계와 인문학

1) 데이터 사이언스의 한계

- 분석과정에서는 가정 등 인간의 해석이 개입되는 단계를 반드시 거침

- 분석결과가 의미하는 바는 사람에 따라 전혀 다른 해석과 결론을 내릴 수 있음

- 아무리 정량적인 분석이라도 모든 분석은 가정에 근거함

2) 데이터 사이언스와 인문학

- 인문학을 이용하여 빅데이터와 데이터 사이언스가 데이터에 묻혀있는 잠재력을 풀어냄

- 새로운 기회를 찾고, 누구도 보지 못한 창조의 밑그림을 그릴 수 있는 힘을 발휘하게 될 것

1. 데이터 사이언스의 의미

- 데이터 사이언스 : 데이터 공학, 수학, 통계학, 컴퓨터공학, 시각화, 해커의 사고방식, 해당 분야의 전문 지식을 종합한 학문.

2. 데이터 사이언스의 구성요소

1) 데이터 사이언스의 영역

2) 데이터 사이언티스트의 요구 역량

-스토리텔링, 커뮤니케이션, 창의력, 열정, 직관력, 비판적 시각, 글쓰기 능력, 대화능력을 갖춰야 한다.

3. 데이터 사이언스 : 과학과 인문의 교차로

- 분석 기술보다 더 중요한 것은 소프트 스킬로 전략적 통찰을 주는 분석은 단순 통계 및 데이터 처리 능력보다 스토리텔링, 커뮤니케이션, 창의력, 열정, 직관력, 비판적 시각, 대화 능력 등의 인문학적 요소가 필요함.

4. 전략적 통찰력과 인문학의 부활

1. 빅데이터 회의록의 원인

-부정적 학습효과 -> 과거의 고객관계관리(CRM) : 공포 마케팅, 투자대비 효과 미흡

-부적절한 성공사례 -> 빅데이터가 필요 없는 분석사례, 기존 CRM의 분석 성과를 빅데이터 분석 성과로 과대 포장

 => 단순히 빅데이터에 포커스를 두지 말고, 분석을 통해 가치를 만드는 것에 집중해야 함.

2. 일차원적인 분석 vs 전략 도출을 위한 가치 기반 분석

1) 산업별 분석 애플리케이션

=> 일차원적인 분석의 문제점 : 급변하는 환경에서는 새로운 기회를 포착하기 어렵다.

2) 전략 도출 가치 기반 분석

-전략적 통찰력의 창출에 포커스 -> 해당 사업에 중요한 기회를 발굴, 주요 경영진의 지원을 얻게 됨.

-분석의 활용 범위를 더 넓고 전략적으로 변화시키고, 전략적 인사이트를 주는 가치 기반의 분석 단계로 나아가야 함.

3절. 비즈니스 모델

1. 빅데이터 활용사례

1) 기업

- 구글 : 사용자의 로그 데이터를 활용한 검색엔진 개발, 기존 페이지랭크 알고리즘 혁신

- 월마트 : 고객의 구매패턴을 분석해 상품 진열에 활용

2) 정부

- 실시간 교통정보 수집, 기후 정보, 소방 서비스 등을 위해 실시간 모니터링을 실시하여 국가 안전 확보에 활용.

3) 개인

- 정치인 : 선거 승리를 위해 사회관계망 분석을 활용해 유세 지역 선거

- 가수 : 팬들의 음악 청취 기록을 분석해 공연 시 노래 순서 선정

2. 빅데이터를 활용한 기본 테크닉

4절. 위기 요인과 통제 방안

1. 위기 요인에 따른 통제 방안

- 사생활 침해 -> 동의에서 책임으로

- 책임 원칙 훼손 -> 결과 기반 책임 원칙 고수

- 데이터 오용 -> 알고리즘 접근 허용

5절. 미래의 빅데이터

1. 빅데이터 활용의 3요소

- 데이터 : 모든 것의 데이터화

- 기술 : 진화하는 알고리즘, 인공지능

- 인력 : 데이터 사이언티스트, 알고리즈미스트

1. 빅데이터의 가치 산정이 어려운 이유

- 데이터 활용방식

- 새로운 가치 창출

- 분석기술 발전

2. 빅데이터의 영향

1. 빅데이터의 정의

1) 관점에 따른 정의와 범주

2) 빅데이터 효과

-기존 방식으로는 얻을 수 없는 통찰 및 가치 창출

-사업방식, 시장, 사회, 정부 등에서 변화와 혁신 주도

2. 출현 배경과 변화

-산업계의 출현배경 : 고객 데이터 축적, 보유를 통해 데이터에 숨어있는 가치를 발굴

-학계의 출현배경 : 거대 데이터를 다루는 학문 분야가 늘어나면서 필요한 기술 아키텍처 및 통계 도구의 발전

-기술발전으로 인한 출혀 배경 : 관련기술(저장 기술, 인터넷 보급, 클라우드 컴퓨팅, 모바일 혁명)의 발달

3. 빅데이터에 거는 기대의 비유적 표현

4. 빅데이터가 만들어 내는 본질적 변화

1. 기업내부 DB

-1980년대 기업내부 DB

-2020년대 기업내부 DB

2. 분야별 DB 소개

1. 데이터베이스 정의

2. 데이터베이스 특징