주 제 : 빅데이터 (Big Data)
1. 빅데이터 : 개 요
1) 개 념
2) 특 징
- 규 모
- 다양성
- 속 도
3) IoT (Internet of Things)
2. 발표자료
- 의사결정지원기술 - 빅데이터 경영을 바꾸다
3. 소셜 분석 전문기업
- 국내 사이트
- 사이람 : 소셜 네트워크 분석 S/W 넷마이너 개발 및 컨설팅 제공
- 소셜메트릭스 : SNS 정보 기반 여론 진단 서비스, 소셜미디어 트위터, 블로그 트렌드 주제 검색 및 동향 제공
- 그루터 : 소셜 네트워크 분석, 데이터 분석, 모니터링, 마케팅 성과측정 서비스 제공
- 트윗트렌드 : 트윗을 수집, 분석하여 트이터 트렌드 분석
- 트윗믹스 : 관심 키워드 모니터링, 관심 키워드 중심의 실시간 커뮤니케이션, 키워드별 통계 정보 제공
4. 활용사례
- 추천영화
- 머니볼
- 해외 사이트
- Indeed.com
- Traack.com
- Bright.com
- GoodData.com
- TalentBin.com
- Predixion
5. 이슈사항
- '빅데이터' 플랫폼의 미래
- 빅데이터 분석 플랫폼에 대한 고민
- 빅데이터가 '못먹는 감'되는 4가지 이유
- [빅데이터포럼] 한국에는 데이터 과학자가 없다.
- 빅데이터 프로젝트 성공 가이드, '유행을 벗어나라'
- 대한민국 빅데이터, 어디로 가야할까
- 밥상머리 교육에서 배우는 빅 데이터 접근법
- "빅 데이터 시각화로 직원 통찰력을 증대시켜라" 이베이의 과제
6. 관련도서
- 빅데이터를 세상을 이해하는 새로운 방법
- 빅데이터의 충격 : 거대한 데이터의 파도가 사업전략을 바꾼다
- 빅데이터 혁명
- 이제는 빅데이터 시대
- 빅데이터 세상을 이해하는 새로운 방법
- 빅데이터 비즈니스
- 빅데이터 경영을 바꾸다 : 데이터는 답을 알고있다.
- 빅데이터가 만드는 비즈니스 미래지도 : 미래 경제를 움직이는 거대한 데이터 혁명
- 빅데이터가 찾아낸 70억 욕망의 지도
- 빅데이터와 SNS 시대의 소셜 경험전략 : 서비스와 제품의 경쟁력을 높이는 비즈니스 큐레이션
- 빅데이터 시대의 데이터 기각화 + 인포그래픽 기법
- 인포그래픽 기획과 실전 전략 : 빅데이터 시대 비즈니스 마케팅을 위한
- 빅데이터 분석도구 R 프로그래밍
- 만들면서 배우는 기계 학습 : 생각을 만드는 빅데이터 기술
- 머하웃 완벽가이드 : 하드에 딱 맞는 빅데이터를 활용한 기계학습
- 소셜 웹마이닝 : 페이스북, 트위터, 링크드인 등의 소셜 미디어 데이터 분석하기
7. 자료수집
- 키 워 드
- 정보기술(ICT)
- "더 이상 SI(시스템 통합) 사업로만으로는 버티기 힘들다"
- "빅데이터, '정부 3.0'의 핵심엔진 될 것"
- 플랫폼
- 정부통합센터 "하둡 기반 빅데이터 플랫폼 구축"
- 메타데이타
- 공공데이터포털, 공간정보 오픈플랫폼,
- 공간정보산업 : 지리정보시스템
- 매시업(Mashup), 프로파일링(Profiling)
- 빅데이터
- 구글 : 수석 경제학자 : 할 베리언(Hal R. Varian)
- "데이터를 얻는 능력, 즉 데이터를 이해하는 능력, 처리하는 능력, 가치를 뽑아내는 능력, 시각화하는 능력, 전달하는 능력이야말로 앞으로 10년간 엄청나게 중요한 능력이 될 것이다."
- 이슈사항
- CIO : 빅데이터
- '빅데이터' 플랫폼의 미래
- 빅데이터 분석 플랫폼에 대한 고민
- 빅데이터가 '못먹는 감'되는 4가지 이유
- [빅데이터포럼] 한국에는 데이터 과학자가 없다.
- 빅데이터 프로젝트 성공 가이드, '유행을 벗어나라'
- 대한민국 빅데이터, 어디로 가야할까
- 밥상머리 교육에서 배우는 빅 데이터 접근법
- "빅 데이터 시각화로 직원 통찰력을 증대시켜라" 이베이의 과제
- 활용요소
- 자원 : 빅데이터
- 기술 : 플랫폼
- 인력 : 과학자
- 처리방안
- 소스
- 내부데이터 : Database, File Management System
- 외부데이터 : File, Multimedia, Streaming
- 공공기관 : 공공데이터포털, 공간정보 오픈플랫폼, 통계청
- 수집
- 크롤링(crawling) : 검색엔진의 로봇을 이용한 데이터 수집
- ETL (Extraction, Transformation, Loading) : 소스 데이터의 추출, 전송, 변환, 적재
- 저장
- 데이터베이스 (NoSQL Databases) : 비정형 데이터 관리
- NoSQL 은 MySQL, 오라클, DB2, SQL 서버등 RDBMS보다 분산 처리 성능이 우수한 오프소스 및 인덱스 기반 데이타 저장 구조를 가진 비 관계형 데이터 베이스를 지칭하는 데이터 저장소이다.
- 솔루션 : 카산드라, Hbase, MongoDB, 구글 빅테이블, 다이나모, 로터스도미노
- 스토리지(Storage) : 빅데이터 저장
- 서버(Servers) : 초경량 서버
- 처리
- 맵리듀스(MapReduce) : 데이터의 추출
- 프로세싱(Processing) : 다중업무 처리
- 분석
- 자연어처리(NLP: Natural Laguage Processing) : 자연어 처리
- 기계학습(Machine Learning) : 기계 학습을 통해 데이터의 패턴 발견
- 서열화(Serialization) : 데이터 간의 순서화
- 분석도구 (클라우드)
- 구글 : Google BigQuery / 블로터닷넷, CIO Korea, 공개SW포털
- 표현
- 시각화(Visualization) : 데이터를 도표나 그래픽적으로 표현
- 활용사례 : 야후, 사운드 클라우드,
- 그누플롯, 크리에틀리, 매니아이즈, 스탯플래닛, 갭마인더, 구글비스
- 재해석(Acquisition) : 데이터의 획득 및 재해석
- 참고자료 : "데이터 시각화의 대세" 인포그래픽 제작 가이드
- 기 사 : 구글, 김앤장 통해 한국 지리정보 반출 시도
- 분석기법
- 데이터 마이닝
1) Business Data
2) Bio Data
3) Spatial Data
4) 3D Visualization
- 텍스트 마이닝
- 오피니언 마이닝 : 고객감성분석(Sentiment Analysis)
1) 데이터 획득 & 데이터 전처리
2) 사전구축 & 정확도 검사
3) Tweet 의견 극성분석
4) 극성정도분석
5) Tweet 의견과 ACSI 비교
6) 키워드 분석 & Network of term
- 웹 마이닝
- 소셜 마이닝
- 현실 마이닝
- 군집분석
- 분석장비
- 하둡(Hadoop)
- R-Project
- NoSQL
- 활용분야
- 공공부문
1) 미국 : 국립보건원 : 필박스(Pillbox)
2) 영국
3) EU
4) 싱가포르 : 국가위험관리시스템
5) 일본
6) 우리나라
- 민간부문
- 해외 : case study
1) 구글 : 검색쿼리데이터 '구글트렌드'
2) 페이스북
3) 애플
4) 아마존닷컴
5) T-Mobile
6) O2
- 국내
1) SK텔레콤
2) KT
3) 다음소프트
- 활용사례
- 빅데이터 기업(기술 개발 기업이나 활용 기업)사례 발굴 및 분석1) Business Data
2) Bio Data
3) Spatial Data
4) 3D Visualization
- 텍스트 마이닝
- 오피니언 마이닝 : 고객감성분석(Sentiment Analysis)
1) 데이터 획득 & 데이터 전처리
2) 사전구축 & 정확도 검사
3) Tweet 의견 극성분석
4) 극성정도분석
5) Tweet 의견과 ACSI 비교
6) 키워드 분석 & Network of term
- 웹 마이닝
- 소셜 마이닝
- 현실 마이닝
- 군집분석
- 분석장비
- 하둡(Hadoop)
- R-Project
- NoSQL
- 활용분야
- 공공부문
1) 미국 : 국립보건원 : 필박스(Pillbox)
2) 영국
3) EU
4) 싱가포르 : 국가위험관리시스템
5) 일본
6) 우리나라
- 민간부문
- 해외 : case study
1) 구글 : 검색쿼리데이터 '구글트렌드'
2) 페이스북
3) 애플
4) 아마존닷컴
5) T-Mobile
6) O2
- 국내
1) SK텔레콤
2) KT
3) 다음소프트
- 활용사례
- 빅데이터 활용가치 및 국내외 적용사례
- 빅데이터 기술 동향과 활용 사례 - KAIST AI Lab
- 빅데이터의 실제 활용 사례 및 전망 - 한국 IT서비스산업협회
- 이것이 바로 빅 데이터! 8가지 실제 사례 - CIO Korea
- 빅데이터로 세상을 리드하다 - 한국정보화진흥원
- 언론사의 빅데이터 활용 사례 - 블로그
- 빅데이터 활용사례 - 국민건강관리보험공단
- 소셜메트릭스
8. 참고논문
- 국내 학술DB
- 건국대학교 상허기념도서관
- RISS (학술연구정보서비스) : 학위논문
- 빅데이터 활용과 분석기법 고찰
- 빅데이터를 위한 분석기술 활용방안 연구
- 빅데이터 기반의 비즈니스 인텔리전스 발전 전략 : 미래 BI를 위한 핵심요소
- 빅데이터 시대의 SNS 마케팅을 위한 타켓팅 최적화에 관한 연구
- 빅데이터 분석 기반의 SNS 고객선정 프로파일링 모델에 대한 실증적 연구
- 공공분야에서의 빅데이터(Big Data) 활용이 업무성과에 미치는 영향에 관한 연구
- 빅데이터의 소셜 네트워크 분석을 이용한 소셜 미디어 활용전략 : 우정사업본부 사례를 중심으로
- 주가지수 예측을 위한 뉴스 빅데이터 오피니언마이닝 모형
- 클라우드 컴퓨팅을 활용한 예측모델링
- MapReduce 기법을 이용한 전자책 빅데이터 처리
- 빅데이터 검색을 위한 원 클래스 서포트 벡터 머신
- 이질적 데이터 통합을 이용한 빅데이터 실시간 이벤트 탐지 시스템
- 빅데이터 시대의 재무행정법상 개인정보 보호에 관한 연구
- 텍스트마이닝, 복잡계 네트워크, 인터넷 빅데이터를 활용한 미래예측 관련 중요 키워드 도출 모델
- 공간 빅데이터를 위한 Spatical Hbase의 설계 및 구현
- SNS 빅데이터 다차원 분석 기반 스마트폰 선호도 분석
- 스마트혁명 시대 빅데이터 활용과 프라이버시 사이의 충돌에 관한 연구
- KERIS : 한국교육학술정보원
- NDSL : 국가과학기술정보센터
- DBPIA : 국내학술지논문
- KRPIA : 한국의 지식콘텐츠
- KISS : 한국학술지논문
- 모아진 전자잡지
- 국외 학술DB
- Web of Science
- ProQuest Central
- RefWorks
- Google Scholar
- scifinder
9. 참고자료
- 국내 사이트
- KBS 시사기획 창 : 동영상
- "빅데이터(Big Data), 세상을 바꾸다"
- "빅데이터(Big Data), 비즈니스를 바꾸다"
- 한경닷컴 : '빅데이터 플랫폼이 필요하다'
- 한국정보화진흥원 - 신 가치창출 엔진, 빅 데이터의 새로운 가능성과 대응 전략
- 한국정보화진흥원 - 성공적인 빅데이터 활용을 위한 3대 요소 : 자원, 기술, 인력
- 한국과학기술기획평가원 - 빅데이터를 활용한 기술기획 방법론
- 한국 IT 서비스산업협회 - 빅데이터 마스터플랜 추진현황 및 향후계획
- 국가정보화전략위원회 - 빅데이터를 활용한 스마트 정부 구현(안)
- 방송통신위원회 - 빅데이터 서비스 활성화 적극 나선다
- 학술자료 - 공공데이터를 활용한 국가정보화 전략연구
- CIO : 빅데이터
- 빅데이터 국가전략 포럼
- 빅데이터포럼
- 빅데이터 아카데미 (미래창조과학부)
- 빅데이터 닷컴
- 서울대학교 빅데이터 센터
- 빅 데이터 동향과 시사점
- 빅데이터 국가전략 포럼
- 빅데이터 커뮤니티
- 빅데이터포럼
- 빅데이터 아카데미 (미래창조과학부)
- 빅데이터 닷컴
- 서울대학교 빅데이터 센터
- 해외 사이트
- Wikibon Big Data
- 구글 웹로그 분석, 구글 트렌드, 구글 상관관계, 구글 트리맵
- 월스트리트저널, 사이토스케이프, 스마트머니, 워드클라우드, 마인드매핑
- Internet of Things