[ Beautiful Soup을 이용한 파싱]

Presentation on theme: "[ Beautiful Soup을 이용한 파싱]"— Presentation transcript:

1 [ Beautiful Soup을 이용한 파싱]
공학설계2 경과보고 [ Beautiful Soup을 이용한 파싱] [ 2조 ] 정경석 심성운 엄태옥 이진형 김진학

2 Beautiful Soup을 이용한 파싱 공학설계2 경과보고 INDEX W3Schools 튜토리얼 진행 궁금점 향후계획

3 BeautifulSoup을 이용한 예제 Beautiful Soup 파싱 W3Schools 튜토리얼 궁금점 향후계획 01 02
“ 요소검사 결과 중 일부 캡쳐

4 BeautifulSoup을 이용한 예제 Beautiful Soup 파싱 W3Schools 튜토리얼 궁금점 향후계획 01 02
BeautifulSoup라이브러리를 사용해 soup 변수에 입력한 html(URL)로부터 모든 소스를 가져옴 realrank변수에 soup의 소스에서 <li>태그의 클래스 값이 up,new,sm인 모든 자료를 가져와 저장. For문 안에서 findAll을 이용해 <li>태그로 한번 쪼갠 realrank 변수를 <a>태그로 한 번 더 쪼갬.

5 BeautifulSoup을 이용한 예제 Beautiful Soup 파싱 W3Schools 튜토리얼 궁금점 향후계획 01 02
기상청 홈페이지에서 제공하는 “충청남도” 지역 날씨(일주일) XML형태 소스 XML파일을 다운로드받아 직접 파일을 open하는 방법도 해보고 싶었으나, 현재 기상청에서는 RSS만을 제공. 참고. RSS : 업데이트가 빈번한 웹사이트의 정보를 사용자에게 보다 쉽게 제공하기 위하여 만들어진 XML 기반의 콘텐츠 배급 포맷을 말한다.

6 BeautifulSoup을 이용한 예제 Beautiful Soup 파싱 W3Schools 튜토리얼 궁금점 향후계획 01 02
기상청 RSS를 가져와 처리하는 코드 추출하고싶은 지역, 시간, 날씨, 최저온도, 최고온도와 신뢰도 데이터의 해당 태그를 찾아 해당 데이터 파싱.

7 Beautiful Soup 파싱 W3Schools 튜토리얼 궁금점 향후계획 01 BeautifulSoup을 이용한 예제 02

8 HTML5 관련 Tutorial 진행 Beautiful Soup 파싱 W3Schools 튜토리얼 궁금점 향후계획

9 1. Beautiful Soup을 사용하는 이유
W3Schools 튜토리얼 궁금점 향후계획 1. Beautiful Soup을 사용하는 이유 FindAll()등의 메소드를 이용할수 있다는 장점이외에?? 2. 앞선 예제에서 한글이 출력되도록 하려면??? 𝑝 𝑖 𝑝 𝑛

10 앞으로 Beautiful Soup 파싱 W3Schools 튜토리얼 궁금점 향후계획
네이버와 기상청을 도메인으로 하여 간단하게 실시간 검색어 추출과 기상정보등을 추출해 보았고, 앞으로의 계획은 KBO를 도메인으로 하여 작품주제와 관련된 요소들을 파싱해볼 계획입니다.

11 Selenium을 이용한 파싱

12 WebDriver는 많은 브라우저에서 웹 앱을 자동적으로 테스트하는 툴입니다
WebDriver는 많은 브라우저에서 웹 앱을 자동적으로 테스트하는 툴입니다. 이 툴킷은 웹 페이지를 자동으로 탐색하고 유저 폼을 사용하거나 자바스크립트를 실행하는 등의 작업을 수행할 수 있습니다. ChromeDriver는 Chromium의 WebDriver wire 프로토콜 스텐드얼론 서버 구현입니다.( 파이썬2.x의 기본 인코딩은 ascii 이다. 파이썬 스크립트에서 한글을 사용하게 될 때 파이썬은 ascii 인코딩일 것으로 예상하고 해석하려고 하지만 한글을 ascii로 해석이 불가능 하기 때문에 SyntaxError가 발생합니다. 상단에 #-*- coding: utf-8 -*-은 영어를 제외한 한글 등의 문자를 인코딩할 때 utf-8로 한다는 뜻입니다(그런데 어째서인지 .encode('utf-8')를 빼고 출력하면 오류발생)

13

14 출력 결과물 코드에서 보셨듯이 value값을 변경해주면서 파싱을 한 결과물입니다. 현재 출력물은 경기종류에 따른 타자기록만 가져온 것이지만 약간만 응용을 더 하면 팀별, 포지션별 등 뿐만 아니라 투수기록도 가져올 수 있을 것 같습니다.

15 공학설계2 경과보고 감사합니다 Thank you .Team 9th