Data Mining Lab March 4, 2016 Jae-Gil Lee, Associate Professor

Slides:



Advertisements
Similar presentations
LG 전자 / 황 원 용 책임연구원. Skott Ahn Mobile Communications Executive Vice President Yong Nam CEO Vice Chairman Simon Kang Digital Display Executive.
Advertisements

1 텍스트 마이닝 기법을 이용한 소셜 미디어 데이터 분석 송민 연세대학교 문헌정보학과 Text and Social Media Mining (TSMM) Lab.
Computer Science and Engineering. 컴퓨터는 미래 지식 사회의 핵심 요인  지식 사회의 도래 : 매 50 년 마다 큰 기술, 사회적 변화 발생.
이혁재 /KASA NoSQL. 요약 NoSQL 소개 데이타베이스 관련 문서 대상 : 클라이언트 프로그래머 NoSQL 소개 데이타베이스 관련 문서 대상 : 클라이언트 프로그래머.
Rethink: Big Intelligence? 2014 년 9 월 27 일 삼성전자 어길수 부사장.
WCL 이민학 Big Data & Hadoop.
기술분야에너지 관리 연구과제명 Advanced Energy Mgmt. Algorithm 개발 필요성신재생 발전기기, 에너지 저장장치, 에너지 소비장치가 공존하는 Smart Grid Home 환경에서 사용자의 불편을 최소화하면서 효율적으로 에너지를 절감할 수 있는 새로운.
2012 Knowledge Service Engineering Knowledge Service Engineering.
인공지능 소개 부산대학교 인공지능연구실. 인공 + 지능 인공지능이란 ? 2.
0/25 기업의 환경변화와 SK 경영법 SK 텔레콤 부회장 조 정 남 제 4 회 대덕이노폴리스포럼 초청강연.
고려대∙매경∙한국빅데이터학회∙한국오라클 빅데이터 응용 및 보안 학위과정 안내
1. IT 환경 변화 Ⅳ. 프로젝트 추진방안 기업이 당면한 다양한 문제 해결을 위해서 문제를 효과적으로 해결할 수 있는 IT 시스템이 개발되었으며, 이는 기업 내 데이터 발생의 원인으로 작용하고 있음. IT 환경 변화는 단순 데이터가 아닌 다양한 형태의 데이터를 급격하게.
이동통신 표준화 동향과 비젼 2008년 11월 수원대학교 정보통신 공학과 양윤기 1 참고문헌
School of Computer Science and Engineering Seoul National University
7장 텍스트의 처리 7.1. 자연어 처리의 개요 자연어 처리의 중요성 자연어 처리의 기반 기술
연관규칙기법과 분류모형을 결합한 상품 추천 시스템:
빅 데이터 전략 연구실 소개 허순영 교수 KAIST 정보미디어 경영대학원 (서울시 동대문구 홍릉 소재) May 10, 2013
Master Thesis Progress
Data Mining(Knowledge Discovery in Database)
컴퓨터공학부 교수님 연구 분야 소개.
Social Network Service!
IT집중교육1 (Mobile Multimedia Service & System Design)
CSI 9851 지식기반 시스템 응용 (상황인지 시스템 및 서비스)
Data Interface, Data mart Technology
대·중소기업 상생경영을 위한 SK텔레콤의 기술협력.
Chapter 7 데이터웨어하우징 의사결정지원시스템.
Text : Introduction to Computers 컴퓨터 개론<Revised 4th Edition>
빅데이터 순환 과정과 플랫폼.
Knowledge Enterprise Portal Solution(iKEP)
Google Analytics Seminar
Machine Learning Network Data Science Lab Seunghun Lee, KangHee Lee
Dept. of Computer Engineering, Hannam Univ. Won Goo Lee
Enterprise Data Warehouse
데이터마이닝의 소개 Data Mining Introduction
12. 데이터베이스 설계.
소프트웨어 공학 (Software Engineering)
실시간 DW를 위한 엔터프라이즈 플랫폼 SYBASE KOREA October, 2010.
Korea University of Technology and Education Hongyeon Kim
EPS Based Motion Recognition algorithm Comparison
기술경영 Management of Technology (MOT) - Concepts -
포항공과대학교 COMPUTER VISION LAB. 석박통합과정 여동훈
LOTOTO “디지털 음원 유통 플랫폼” ( Oct, 2004 LOTOTO Co., Ltd.
전자공학과 현황 및 발전방향 2011 학과장 간담회
CRM에서의 Data Quality Management
Unified Communications Cisco Korea
2장 운영 체제의 개요 운영체제의 개념 운영체제의 유형 운영체제의 발전 과정 운영체제의 구성 운영체제 서비스 시스템 구조
Embedded Software Technology - Mobile Terminal Management 제 3세부
Web상에서의 Network Management
CH 851 지식기반 시스템 응용 (모바일 시스템) 2006년도 제 2학기.
양견모 The 4th International Conference on Mobile Services, Resources, and Users: Mobility 2014 양견모
숭실대학교 마이닝연구실 김완섭 2009년 2월 8일 아이디어  - 상관분석에 대한 연구
게임에서 공공까지, 국내 실 사례들로 본 빅데이터 융합 분석
Data Mining.
핵심서비스 무료제공을 통한 고객유치&만족의 중요성
Lab Application Management
1. 미래학 소개 6.
Past, Present, and Future Trends
2009, 46th KLA General Conference
정보 추출기술 (Data Mining Techniques ) : An Overview
BISCO International® 본 자료는 비서 및 사무 전문가들의 국제적인 협회인
소프트웨어 공학 (Software Engineering)
Lifecare Android Seminar
Course Guide - Algorithms and Practice -
Insight Deep MininG 건강을 위한 마이너스, 무첨가 식품 인사이트코리아/식품음료신문 공동 기획 기사
시스템 분석 및 설계 글로컬 IT 학과 김정기.
Data Analytics for Healthcare
Professor: Dongman Lee
1. 데이터베이스 환경.
Artificial Intelligence and Life in 2030
E-HR 설계 기본(안) for x x x HR 팀.
Presentation transcript:

Data Mining Lab March 4, 2016 Jae-Gil Lee, Associate Professor Department of Knowledge Service Engineering KAIST

Brief Bio Areas of Interest: Big Data & Data Mining Professional Experience PhD: KAIST (2005) KAIST, Dept. of Knowledge Service Engineering Associate Professor IBM Almaden Research Center Postdoctoral Research Staff University of Illinois at Urbana-Champaign, Dept. of Computer Science Postdoc Research Associate Dec. 2010 ~ Present Sept. 2008 ~ Nov. 2010 July 2006 ~ Aug. 2008

Knowledge Wisdom (지혜) Knowledge (지식) Data (데이터) Research Scope

Data Mining Extraction of interesting (non-trivial, implicit, previously unknown, and potentially useful) patterns or knowledge from huge amounts of data [W. Frawley] Confluence of multiple disciplines Statistics Pattern Recognition Databases Machine Learning Algorithms Data Mining

Data Mining Lab Initiated in 2011 http://dm.kaist.ac.kr/ Initiated in 2011 Consisting of 9 PhD and 6 master students (as of March 2016) Graduating 8 masters (as of March 2016) Working on various data mining methods for advanced data sets, more specifically, trajectory data and social network data

Data Mining Vision Scaling up algorithms to cope with Big Data Trajectory data Social network data Improving the knowledge quality by combining multiple data sources Modeling the human behaviors precisely from the human activity data

Trajectory Data A trajectory is a sequence of the location and timestamp of a moving object Hurricanes Turtles Vessels Vehicles

(Social) Network Data A social network (e.g., Facebook, Twitter) is usually modeled as a graph A node → an actor An edge → a relationship or an interaction

Research Interests High-performance data mining for big data [BigComp14 (Best Paper), VLDB14] Mobility pattern mining from large-scale trajectory data [IEEE TKDE11, ACM TIST11, IEEE TKDE15] Community detection from complex (e.g., multi-layer) networks [ASONAM12, SIGMOD Record, ACM TIST16] Expertise finding in social networks and Q&A services [AAAI ICWSM13 (Best Paper), AAAI ICWSM14] Theoretical foundation on community detection [IEEE ICDE14, IEEE ICDE16] Data mining for emerging platforms and services [IEEE ICDE 16]

동아일보 2015년 5월 11일 기사 초기 단계지만 … “당신이 어느 매장으로 갈지 다 알아요” [유통+기술, R테크의 시대로] <2> 위치정보-빅데이터 활용 2054년 미국, 사람들이 상점에 들어갈 때마다 전자 광고판이 제각각 다른 상품을 권한다. 홍채로 소비자를 인식한 뒤, 그의 취향과 라이프스타일에 맞춰 그가 살 만한 상품을 추천해 주는 것이다. 영화 ‘마이너리티 리포트’에 등장하는 이 장면은 2015년 현재에도 이미 기술적으로 가능하다는 것이 전문가들의 설명이다. 영화에서는 홍채로 개별 소비자를 인식하지만, 지금은 스마트폰의 와이파이나 블루투스 기능으로 고객을 구별한다는 점이 다를 뿐이다. …

Courses KSE525: Data Mining and Knowledge Discovery (Spring semester each year)  open in this semester http://dm.kaist.ac.kr/kse525 KSE526: Analytical Methodologies for Big Data (Fall semester) http://dm.kaist.ac.kr/kse526 KSE625: Data Mining for Social Networks (Fall semester) http://dm.kaist.ac.kr/kse625

On-Going Projects Interactive Analysis of Spatial Big Data (Spatial Big Data) ⇒ up to 4 years left Big Data Mining for Social Networks (Social Network)⇒ up to 2 years left Data Mining on Mobile Devices (Smart Cloudlet) ⇒ up to 2 years left Self-Evolving Knowledge Base (ExoBrain) ⇒ 1 year left

Spatial Big Data The goal is to develop an interactive analytics platform for spatial big data Focusing on real-time spatial data, especially from smartphones and sensors (Internet of Things) We are developing two core engines based on open source software Complex event processing Online analytical processing Funded by Ministry of Land, Infrastructure and Transport (국토교통부)

Spatial Big Data (cont’d) Scheduler (Data Flow Management, Queuing) Various Real-Time Streaming Data Input Data Manager Distributed System (Storm Cluster) Kafka Data Source 1 Filter S-CEP S-CEP Data Source 2 JSON, GeoJSON File Format Spout … Filter S-CEP … … Data Source … User Interface (5th Year) Aggregator Data Source N Spout S-CEP S-CEP Delivery Spout S-CEP S-CEP 범례 : Bolt Spout : 데이터 소스 Bolt : 데이터 처리 유닛 S-CEP : 공간 CEP Storage (Redis)

Spatial Big Data (cont’d) Truck real-time monitoring service Real-time Vehicle Event Stream (위치, 속도, 가속도, 축하중, 타이어 압력 등) Real-time Traffic Flow Event Stream (교통량, 교통 사고 정보 등) Real-time Weather Event Stream (기온, 강수, 안개 여부, 습도 등) Scheduler Input Distributed Computation Spatially Enabled Complex Event Processing Real-time Freight Event Stream (수하물 종류, 수하물 위험도, 수하물 보관상태 등)

Smart Cloudlet The goal is to develop a distributed, parallel data analysis platform on mobile devices Hadoop on mobile devices and interface for data mining algorithms Focusing on similar photo retrieval as well as k-means, k-NN algorithms Funded by Institute for Information & Communication Technology Promotion (정보통신진흥원) Analysis Request Sub-Task Results Mobile Device Sub-Task and Data Data Generation (e.g., Photos)

Smart Cloudlet (cont’d)

Thank You! Any Questions?