pathfinder 종합설계 김혜인 윤주성 김소이 이동형

Presentation on theme: "pathfinder 종합설계 김혜인 윤주성 김소이 이동형"— Presentation transcript:

1 pathfinder 종합설계 2 32131332 김혜인 32091991 윤주성 32131837 김소이 32121846 이동형

2 Subject 구글 검색의 핵심! 페이지 랭크 알고리즘

3 INDEX 01. 페이지랭크 알고리즘의 개요 02. 페이지랭크 03. 페이지랭크 04. Q&A 알고리즘의 원리 알고리즘의 장점
01. 페이지랭크 알고리즘의 개요 배경 정의 개요 02. 페이지랭크 알고리즘의 원리 페이지 랭크? 백링크? 랜덤서퍼 03. 페이지랭크 알고리즘의 장점 04. Q&A

4 페이지 랭크 알고리즘의 개요 페이지 랭크 알고리즘의 배경
페이지 랭크 알고리즘의 개요 페이지 랭크 알고리즘의 배경 특정한 자료를 찾는 것의 어려움 방대한 정보의 양 알고리즘에 의하여 자동적으로 처리 될 때, 정확도를 유지하는 것의 어려움

5 페이지 랭크 알고리즘의 개요 웹 문서의 출처, 이에 대한 랭킹을 매김으로써 정확도에 반영 하이퍼 링크 구조를 가지는 문서에
페이지 랭크 알고리즘의 개요 페이지 랭크 알고리즘의 정의 웹 문서의 출처, 이에 대한 랭킹을 매김으로써 정확도에 반영 하이퍼 링크 구조를 가지는 문서에 상대적 중요도에 따라 가중치를 부여

6 페이지 랭크 알고리즘의 개요 연결 된 링크의 빈도수↑ → 페이지의 중요도가 높다고 판단
페이지 랭크 알고리즘의 개요 페이지 랭크 알고리즘의 개요 연결 된 링크의 빈도수↑ → 페이지의 중요도가 높다고 판단 즉, 알고리즘 자체에서 Page A의 중요도<page B의 중요도

7 특정한 하나의 페이지에서 그 페이지의 단순 랭킹을
페이지 랭크 알고리즘의 원리 페이지 랭크? 해당 페이지를 가리키는 페이지의 집합들 중 특정한 하나의 페이지에서 그 페이지의 단순 랭킹을 페이지에서 나가는 링크의 개수로 나눈 값을 해당 페이지를 가리키는 페이지의 집합들의 모든 원소에 대응한 것의 총 합

8 백링크 : 어떤 페이지가 다른 페이지를 인용하는 것
페이지 랭크 알고리즘의 원리 백 링크? 백링크 : 어떤 페이지가 다른 페이지를 인용하는 것

9 페이지 랭크도 낮고 다양한 링크가 걸린 사이트에서 백링크 된 경우?
페이지 랭크 알고리즘의 원리 백 링크? 페이지 랭크가 높은 곳으로부터 백링크 된 경우? 높은 페이지 랭크를 취득 페이지 랭크도 낮고 다양한 링크가 걸린 사이트에서 백링크 된 경우? 페이지링크를 높이는 데는 큰 기여 X

10 랜덤서퍼? 일련의 페이지를 임의로 방문하며 탐색하는 모델 즉 만족하지 사용자가 만족하지 않은 확률 \alpha는
페이지 랭크 알고리즘의 원리 랜덤서퍼 랜덤서퍼? 일련의 페이지를 임의로 방문하며 탐색하는 모델 특정 페이지 만족 불만족 다른 페이지 탐색 이 확률을 \alpha라고 하고 해당 페이지에서 백링크를 받는 특정 페이지는 해당 페이지의 단순 랭킹에서 \alpha가 곱해진 만큼의 페이지 랭킹을 받게 됨 즉 만족하지 사용자가 만족하지 않은 확률 \alpha는 페이지 랭크를 낮추는데 사용

11 즉 만족하지 사용자가 만족하지 않은 확률 \alpha는
페이지 랭크 알고리즘의 원리 랜덤서퍼 즉 만족하지 사용자가 만족하지 않은 확률 \alpha는 페이지 랭크를 낮추는데 사용

12 페이지 랭크 알고리즘의 장점 더 중요하고 중심적인 웹 페이지들을 더욱 선호하는 순서로 정렬 가능
트레픽 추산이나 사용자 네비게이션 등의 다양한 정보검색 작업에도 사용 가능

13 Q&A Q&A

14 INDEX 01. 서베이 주제 소개 02. 시장조사 03. 경쟁 어플 조사 04. Q&A

15 서베이 주제 소개 시장조사 시장 조사란? 우리가 시장조사를 해야하는 이유

16 서베이 주제 소개 시장 조사란? 시장 조사(市場調査)는 한 상품이나 서비스들이 어떻게 구입되며 사용되고 있는가,
서베이 주제 소개 시장 조사란? 시장 조사(市場調査)는 한 상품이나 서비스들이 어떻게 구입되며 사용되고 있는가, 그리고 어떤 평가를 받고 있는가 하는  시장(市場)에 관한 조사를 ‘시장조사(market research)’라고 한다.

17 서베이 주제 소개 우리가 시장조사를 해야하는 이유 1. 고객니드의 다양화에 따른 고객차별화 전략 필요
서베이 주제 소개 우리가 시장조사를 해야하는 이유 1. 고객니드의 다양화에 따른 고객차별화 전략 필요  2. 시장정보에 의한 전략적 영업체계 구축  3. 시장밀착형 영업으로 시장점유율 개선  4. 신인 및 부진설계사에 대한 구체적 활동시장 부여로 고소득, 고능률화를 도모하고 생활설계사의 기반확대를 통한 활동량 증대로 생산성 제고  5. 지금까지 의식하지 못했던 새로운 시장의 발견  6. 영업소의 시장관리 및 개척활동이 시장의 실태에 적합한지 판단

18 시장 조사를 통한 여행정보관리 웹의 앞으로 향후 전망
시장조사 시장 조사를 통한 여행정보관리 웹의 앞으로 향후 전망 1.여행객들의 모바일 기기에 대한 의존도는 갈수록 높아지고 있다. 2.  여행과 관련된 전반적인 정보가 모바일을 통해 유통되면서 여행 앱 시장의 경쟁도 치열해지고 있다. 3. 개별적인 요구를 충족할 수 있는 다양한 전문 서비스들을 적극적으로 활용하려는 변화가 두드러지고 있다. 모바일 앱도 앱이지만 웹을 잘 구축하면 새로운 고객을 끌어들일 수 있지 않을까?

19 시장조사 잘 보이지는 않지만 오프라인 저장 기능이 있다면? 2016년 전 세계 여행 관련 앱 다운로드 건수는 약 30억건으로 2015년보다 20% 증가했다. 2014년과 비교하면 50%나 상승한 수준이다. 스마트폰에서 발생한 예약 건수 중 앱을 통한 예약의 비중은 2014년 12%에서 2016년 54%까지 증가했다. 

20 경쟁 어플 조사 1. 스마트 투어 가이드 놀랍게 안드로이드 평점 iTunes 평점

21 경쟁 어플 조사 ① 대한민국 대표 관광지의 역사와 문화 이야기를 들려주는 오디오가이드 서비스
② 선사 시대부터 현대까지를 아우르는 역사여행, 서울, 제주, 인천, 전주 등 매력적인 관광 도시들을 둘러보는 도보/코스 여행, 하회마을, 해인사 등의 유네스코 세계유산, 국립 박물관 투어 등 다양한 테마의 여행을 제공 ④ GPS로 약도 확인 및 가장 가까운 관광지 검색가능 ⑤ 대한민국 주요 관광지에 대한 상세한 오디오 가이드 제공 ⑥ SNS서비스로 공유가능 ⑦ 다른 앱들에 비해 관광지나 산악지역에 대한 더 세밀한 위치 정보를 지원

22 경쟁 어플 조사 사용자 평가

23 경쟁 어플 조사 1. 스마트 투어 가이드 안드로이드 평점 iTunes 평점

24 경쟁 어플 조사 ① 여행할 도시에 대한 모든 정보(식당, 관광지, 할 일, 지도)를
모두 미리 다운 받아 오프라인으로 사용 가능 ② 기존의 구글 맵에서 제공하는 리뷰와 평점 데이터를 연계 하여, 맛집과 명소들을 목록화 ③ 마음에 드는 명소나 맛집 즐겨찾기 후 리스트 형태로 쉽게 관리 가능. 또한 각 장소에 대한 영업시간, 지도, 리뷰 및 평점, 참고 사항과 같은 세부 정보 제공 ④ 구글맵과 연동하여 공항부터 숙소나 도시로의 이동수단 제공

25 경쟁 어플 조사 사용자 평가 (안드로이드) 사용자 평가 (앱스토어)

26 경쟁 어플 조사 3. 해외안전여행 놀랍게 안드로이드 평점 iTunes 평점

27 경쟁 어플 조사 ① 여행 관련된 다양한 정보와 편의를 제공함 ② 위기상황 대처 매뉴얼(영사조력범위, 구조요청 기능,
사고대처 등) 제공 ③ 여행 경보 제도(여행경보신호등제도, 특별여행경보, 국가별 안전정보 표시지도 등)  ④ 내 위치, 공관 위치찾기(170개 공관 주소, 전화번호 등) ⑤ 신속 해외 송금제도 제공 ⑥ 170개국 국가별 대사관 영사관 영사핫라인(재외공관 비상 연락처) 바로 전화하기

28 경쟁 어플 조사 사용자 평가 (안드로이드) 사용자 평가 (안드로이드)

29 Q&A Q&A

30 Subject 웹 크롤링 Jsoup, Spring, Aws

31 INDEX 01. 웹 크롤링? 02. 파싱 + Jsoup 03. Aws + Spring 04. Q&A 정의 예시 파싱?
크롤링 방식 03. Aws + Spring E C 2 서버 생성 R D S 생성 Spring 04. Q&A

32 웹 크롤링이란? 웹사이트에서 원하는 자동으로 수집하는 것 웹 크롤러(Web crawler)는 조직적, 자동화된 방법으로
웹 크롤링이란? 웹사이트에서 원하는 자동으로 수집하는 것 웹 크롤러(Web crawler)는 조직적, 자동화된 방법으로 www를 탐색하는 프로그램을 지칭한다. 크롤러가 하는 작업을 크롤링이라 하며 얼마나 전략적으로 여러 사이트의 여러 페이지를 방문하여 필요한 정보를 선택적으로 파싱 후 인덱싱 하는지가 관건이다.

33 크롤링의 사용 예시 검색 엔진 - 크롤링을 통하여 인덱싱 된 사이트,페이지 를 기반으로 검색 데이터 수집 봇 기능을 제공한다.
크롤링의 사용 예시 검색 엔진 - 크롤링을 통하여 인덱싱 된 사이트,페이지 를 기반으로 검색 기능을 제공한다. 데이터 수집 봇 - 토렌트 사이트, 통합 쇼핑 사이트 등에서 사용되는 정보 수집 프로그램, 사이트는 크롤링된 정보를 기반으로 운영된다.

34 파싱 가공되지 않은 문자열에서 필요한 부분을 추출하여 의미있는(구조화된) 데이터로 만드는 과정

35 J s o u p - Java 로 만들어진 HTML 파서 - URL,파일명,문자열을 소스로 HTML을 파싱
- DOM 구조를 추적하거나 CSS 선택자를 활용하여 선택적 데이터 추출이 가능하다. 오픈소스로 라이선스는 MIT에 있다.

36 J s o u p Jsoup에서 제공하는 HTML 파싱 항목 (일부분)

37 J s o u p Spring, Maven 환경에서 구현하였다.
타겟 사이트 URL 을 지정하여 연결 후 페이지 요소를 가져온다. 가져온 요소들에서 특정 HTML tag, CSS명 별로 파싱 할 수 있다. 위에서 파싱된 요소들에서 세부 요소를 다시 파싱하여 출력하였다.

38 J s o u p Jsoup 라이브러리 URL, Method(get,post외) Document :

39 J s o u p Jsoup 라이브러리 Document의 HTML Element Select(식별자)
식별자 : Tag Id, Name, Class, 문자열 등 Element :

40 J s o u p .music_area 는 Class 명이다. a Tag의 title을 파싱

41 J s o u p Jsoup 라이브러리 Select(String query) query에 해당하는 요소 파싱 Element :

42 J s o u p 파싱된 ArrayList<Element>

43 J s o u p Package – Parser와 Package – Select의 각 클래스들을
분석하면 보다 효과적이고 정확한 파싱을 할 수 있을 것 이다.

44 J s o u p 다음과 같은 HTML 문서에서 필요한 정보를 파싱 하려면 어떻게 해야 할까?
필요한 정보가 어떤 tag에 담아져 있는지 ? 정보를 식별 할 수 있는 인자가 존재하는지 ?

45 크롤링 방식 Selenium 타겟 페이지를 직접 로드하여 전체 데이터를 살펴 보며 Request, Scrapy
크롤링 방식 Selenium 타겟 페이지를 직접 로드하여 전체 데이터를 살펴 보며 데이터 파싱을 함, 버튼 클릭, 이벤트 호출 등과 같은 동작을 수행 할 수 있으며 이에 따른 결과 정보도 파싱 할 수 있다. Request, Scrapy 정적으로 로드되는 데이터만 살펴 볼 수 있다.

46 A W S Amazon Web Service의 줄임말로 아마존닷컴에서 제공되는 각종 원격 컴퓨팅 서비스를 말한다.

47 A W S Amazon Web Service의 줄임말로 아마존닷컴에서 제공되는 각종 원격 컴퓨팅 서비스를 말한다.
본 프로젝트에서는 AWS의 서비스중 EC2와 RDS를 사용하여 웹 서버를 구축하고 서비스를 제공한다. 리눅스기반의 EC2 서버와 MySql 기반의 RDS 를 사용한다.

48 A W S E C 2

49 A W S E C 2

50 A W S R D S

51 A W S R D S

52 Spring Spring MVC 패턴 Web Project Maven과 연동 DB Connection – Mybatis
Web HTML Parser – Jsoup

53 Web Page Test

54 Q&A Q&A

55 Thank you 감사합니다.