웅지의 개발새발

1. 마스터 플랜 수립 프레임 워크

- 분석 과제를 대상으로 다양한 기준을 고려해 적용 우선순위를 설정하고, 데이터 분석 구현을 위한 로드맵을 수립

2. 운선순위 평가에 활용하기 위한 ROI 관점에서 빅데이터의 핵심 특징

1. 분석과제 관리를 위한 5가지 주요 영역

- 분석프로젝트는 범위, 일정, 품질, 리스크, 의사소통 등 영역별 관리가 수행되어야 할 뿐 아니라 데이터에 기반한 분석 기법을 적용한다는 특성 때문에 아래와 같은 5가지의 주요 속성을 고려하여 추가적인 관리가 필요

2. 분석 프로젝트의 특성

- 분석가의 목표 : 개별적인 분석업무 수행 뿐만 아니라 전박적인 프로젝트 관리 또한 중요

- 분석가의 입장 : 데이터 영역과 비즈니스 영역의 현황을 이해하고, 프로젝트의 목표인 분석의 정확도 달성과 결과에 대한 가치 이해를 전달하는 조정자로서의 분석가 역할이 중요

- 분석 프로젝트는 도출된 결과의 재해석을 통한 지속적인 반복 및 정교화가 수행되는 경우가 대부분이므로 프로토타이핑방식의 애자일 프로젝트 관리방식에 대한 고려도 필요

1. 분석과제 발굴 방법론

2. 하향식 접근 방식(Top Down Approach)

-하향식 접근법은 문제 탐색 -> 문제 정의 -> 해결방안 탐색 -> 타당성 검토의 과정으로 이루어짐.

3. 하향식 접근 방식의 과정

1) 문제 탐색(Problem Discovery) 

-비즈니스 모델 기반 문제 탐색 : 업무, 제품, 고객, 규제의 감사, 지원 인프라 등 5가지 영역으로 기업의 비즈니스를 분석

-분석 기회 발굴의 범위 확장

-외부 참조 모델 기반의 문제 탐색 : 유사, 동종 사례를 벤치마킹을 통해 분석 기회를 발굴

-분석 유즈 케이스 정의

2) 문제 정의(Problem Definition) : 비즈니스 문제를 데이터의 문제로 변환하여 정의하는 단계

3) 해결방안 탐색(Solution Search) : 분석역량(Who), 분석기법 및 시스템(How)으로 해결 방안 탐색

4) 타당성 검토(Feasibility Study) : 경제적 타당성, 데이터 및 기술적 차당성 검토 : 분석역량

4. 상향식 접근 방식(Down Top Approach)

1) 정의

-기업이 보유하고 있는 다양한 원천 데이터로부터 분석을 통하여 통찰력과 지식을 얻는 접근방법

-다양한 원천 데이터를 대상으로 분석을 수행하여 가치 있는 모든 문제를 도출하는 일련의 과정

2) 상향식 접근법의 특징

-하향식 접근법은 논리적 단계별 접근법으로 최근의 복잡하고 다양한 환경에서 발생하는 문제를 해결하기 어렵기 때문에 디자인적 사고(Design Thinking)접근법을 통해 WHY->WHAT 관점으로 존재하는 데이터 그 자체를 객관적으로 관찰하여 문제를 해결하려는 접근법을 사용.

-상향식 접근법은 비지도 학습 방법으로 수행되며, 데이터 자체의 결합, 연관성, 유사성을 중심으로 접근

-시행착오를 통한 문제 해결 : 프로토타이핑 접근법

5. 분석과제 정의

-분석 과제 정의서를 통해 분석별 필요 소스 데이터, 분석 방법, 데이터 입수 및 분석의 난이도, 분석 수행주기, 검증 오너십, 상세 분석 과정 등을 정의

1. 분석 방법론 개요

1) 기업의 합리적 의사결정을 가로막는 장애요소

-고정관념, 편향된 생각, 프레이밍 효과

2) 방법론의 적용 업무의 특성에 따른 모델

-폭포수 모델(Waterfall Model)

-프로토타입 모델(Prototype Model)

-나선형 모델(Spiral Model)

2. KDD 분석 방법론

-데이터셋 선택 : DB 또는 원시 데이터에서 분석에 필요한 데이터 선택. 데이터마이닝에 필요한 목표데이터를 구성

-데이터 전처리 : 분석 대상용 데이터 셋에 포함된 잡음, 이상치, 결측지를 식별하고 필요시 제거 or 의미 있는 데이터로 재처리.

-데이터 변환 : 분석 목적에 맞게 변수를 생성, 선책하고 데이터의 차원을 축소. 학습용 데이터, 시험용 데이터로 분리.

-데이터 마이닝 : 학습용 데이터를 이용해 분석목적에 맞는 데이터마이닝 기법 선택.

-결과 평가 : 데이터마이닝 결과에 대한 해석과 평가, 분석 목적과의 일치성 확인.

=> 각 단계마다 필요 시 이전 단계를 반복할 수 있음.

3. CRISP-DM 분석 방법론

-업무 이해 : 업무 목적 파악, 요구사항 이해.

-데이터 이해 : 분석을 위한 초기 데이터 수집, 속성 이해

-데이터 준비 : 분석 기법에 적합한 데이터를 편성(많은 시간 소요 가능)

-모델링 : 모델링 기법 및 알고리즘 선택. 모델 평가.

-평가 : 분석 결과인 모델링 결과가 프로젝트 목적에 부합하는지 평가

-전개 : 전개 계획 수립, 유지보수 계획 마련

4. 빅데이터 분석 방법론

1) 빅데이터 분석의 계층적 프로세스

2) 빅데이터 분석 방법론 5단계

1. 분석 기획의 특징

1) 분석 기획 : 실제 분석을 수행하기에 앞서 분석을 수행할 과제를 정의하고, 의도했던 결과를 도출할 수 있도록 이를 적절하게 관리할 수 있는 방안을 사전에 계획하는 일련의 작업

2) 데이터 사이언티스트의 역량 : 수학/통계학적 지식, 정보기술(IT, 해킹, 통신 기술 등), 비즈니스에 대한 이해와 전문성

2. 분석 대상과 방법 : 분석은 분석의 대상(What)과 분석의 방법(How)에 따라 4가지로 분류

3. 목표 시점별 분석 기획 방안

4. 분석 기획 시 고려사항

-분석의 기본인 가용 데이터에 대한 고려가 필요

-분석을 통해 가치가 창출될 수 있는 적절한 활용방안과 유즈 케이스 탐색이 필요

-분석 수행시 발생하는 장애요소드렝 대한 사전계획 수립이 필요

1. 빅데이터의 시대

-빅데이터 분석은 선거결과에 결정적인 영향을 미칠 수도 있고, 기업들에게 비용절감,시간 절약, 매출 증대, 고객 서비스 향상, 신규 비즈니스 창출, 내부 의사결정 지원 등에 있어 상당한 가치를 발휘하고 있음.

2. 빅데이터 회의론을 넘어 가치 패러다임의 변화

3. 데이터 사이언스의 한계와 인문학

1) 데이터 사이언스의 한계

- 분석과정에서는 가정 등 인간의 해석이 개입되는 단계를 반드시 거침

- 분석결과가 의미하는 바는 사람에 따라 전혀 다른 해석과 결론을 내릴 수 있음

- 아무리 정량적인 분석이라도 모든 분석은 가정에 근거함

2) 데이터 사이언스와 인문학

- 인문학을 이용하여 빅데이터와 데이터 사이언스가 데이터에 묻혀있는 잠재력을 풀어냄

- 새로운 기회를 찾고, 누구도 보지 못한 창조의 밑그림을 그릴 수 있는 힘을 발휘하게 될 것

1. 데이터 사이언스의 의미

- 데이터 사이언스 : 데이터 공학, 수학, 통계학, 컴퓨터공학, 시각화, 해커의 사고방식, 해당 분야의 전문 지식을 종합한 학문.

2. 데이터 사이언스의 구성요소

1) 데이터 사이언스의 영역

2) 데이터 사이언티스트의 요구 역량

-스토리텔링, 커뮤니케이션, 창의력, 열정, 직관력, 비판적 시각, 글쓰기 능력, 대화능력을 갖춰야 한다.

3. 데이터 사이언스 : 과학과 인문의 교차로

- 분석 기술보다 더 중요한 것은 소프트 스킬로 전략적 통찰을 주는 분석은 단순 통계 및 데이터 처리 능력보다 스토리텔링, 커뮤니케이션, 창의력, 열정, 직관력, 비판적 시각, 대화 능력 등의 인문학적 요소가 필요함.

4. 전략적 통찰력과 인문학의 부활

1. 빅데이터 회의록의 원인

-부정적 학습효과 -> 과거의 고객관계관리(CRM) : 공포 마케팅, 투자대비 효과 미흡

-부적절한 성공사례 -> 빅데이터가 필요 없는 분석사례, 기존 CRM의 분석 성과를 빅데이터 분석 성과로 과대 포장

 => 단순히 빅데이터에 포커스를 두지 말고, 분석을 통해 가치를 만드는 것에 집중해야 함.

2. 일차원적인 분석 vs 전략 도출을 위한 가치 기반 분석

1) 산업별 분석 애플리케이션

=> 일차원적인 분석의 문제점 : 급변하는 환경에서는 새로운 기회를 포착하기 어렵다.

2) 전략 도출 가치 기반 분석

-전략적 통찰력의 창출에 포커스 -> 해당 사업에 중요한 기회를 발굴, 주요 경영진의 지원을 얻게 됨.

-분석의 활용 범위를 더 넓고 전략적으로 변화시키고, 전략적 인사이트를 주는 가치 기반의 분석 단계로 나아가야 함.

3절. 비즈니스 모델

1. 빅데이터 활용사례

1) 기업

- 구글 : 사용자의 로그 데이터를 활용한 검색엔진 개발, 기존 페이지랭크 알고리즘 혁신

- 월마트 : 고객의 구매패턴을 분석해 상품 진열에 활용

2) 정부

- 실시간 교통정보 수집, 기후 정보, 소방 서비스 등을 위해 실시간 모니터링을 실시하여 국가 안전 확보에 활용.

3) 개인

- 정치인 : 선거 승리를 위해 사회관계망 분석을 활용해 유세 지역 선거

- 가수 : 팬들의 음악 청취 기록을 분석해 공연 시 노래 순서 선정

2. 빅데이터를 활용한 기본 테크닉

4절. 위기 요인과 통제 방안

1. 위기 요인에 따른 통제 방안

- 사생활 침해 -> 동의에서 책임으로

- 책임 원칙 훼손 -> 결과 기반 책임 원칙 고수

- 데이터 오용 -> 알고리즘 접근 허용

5절. 미래의 빅데이터

1. 빅데이터 활용의 3요소

- 데이터 : 모든 것의 데이터화

- 기술 : 진화하는 알고리즘, 인공지능

- 인력 : 데이터 사이언티스트, 알고리즈미스트

1. 빅데이터의 가치 산정이 어려운 이유

- 데이터 활용방식

- 새로운 가치 창출

- 분석기술 발전

2. 빅데이터의 영향