인터넷 이용통계 추출 프로그램 사용 매뉴얼 (Web Log Analyzer) 2015-11-28

1. 인터넷 이용통계 추출 프로그램 이란 2. 인터넷 이용통계 추출 프로그램 사용법 1. 주요기능 2. 구성요소 3. 동작 환경 4. 소스목록 5. Directory 설명 6. 결과파일 설명 7. 결과파일 세부설명 8. 동작프로세스 2. 인터넷 이용통계 추출 프로그램 사용법 1. 프로그램 설치 2. 로그파일 준비 3. 로그파일 이동 4. 프로그램 실행 5. 옵션선택 6. 진행상태 확인 7. 결과확인

I. 인터넷 이용통계 추출 프로그램(Web Log Analyzer) 이란 왜 온라인 동영상인가? 1. 주요 기능 인터넷 이용통계 추출 프로그램(Web Log Analyzer)는 사용자가 해당 사이트를 이용시 서버에 저장되는 User-Agent 로그를 분석하여 사용자의 OS, Browser 정보를 추출하여 통계 데이터로 생성함 Page View 기준으로 통계 데이터 작성 2. 구성 요소 로그 분석 프로그램 (Log 파일에서 User-Agent 정보를 추출하여 Rule Set 기반으로 통계결과를 집계함) Rule Set (User-Agent 정보로 OS, Browser 정보등을 매핑하는 정규식 집합체) 결과파일 Templet (통계결과파일 생성용 Templet) 3. 동작 환경 Language : Java OS : Windows, Linux JDK 1.7 이상 (http://www.oracle.com) Ant 1.6 이상 (http://ant.apache.org)

I. 인터넷 이용통계 추출 프로그램(Web Log Analyzer) 이란 4. 소스 목록 Class 명 기 능 세부 기능 AgentMain 메인 프로그램 기동 프로그램 AgentLogFileReader 웹로그 리더 웹서버 로그를 읽어 들여 메모리에 올림 AgentAnalyzer 로그 분석기 메모리에 올려진 로그파일을 분석 함 AgentParser 로그 파서 User-agent 를 해석하여 맞는 Rule 패턴을 찾음 AgentQue Que 객체 웹서버 로그를 담아두는 Que 객체, 선입선출 AgentInfo Agent 정보 객체 User-Agent 정보 객체 LogFileMerge 웹로그 파일 취합 로그 파일에서 중복되는 User-Agent 를 추출하여 취함 ExecuteStatusThread 중간저장 웹로그 분석중 정해진 시간(1분30초)마다 현재까지 분석된 매핑정보를 저장하여 프로그램 중단후 재실행시 속도를 높여줌 AgentExcuteStatus 진행상태 체크 현재 진행상태를 체크함 COMMON_CONSTANT 공통 상수 설정파일의 경로등을 저장

I. 인터넷 이용통계 추출 프로그램(Web Log Analyzer) 이란 5. Directory 설명 Directory 설명 classes Class 파일 Directory Hit_temp 매핑된 user-agent 정보가 임시저장 됨 lib Excel 파일 생성을 위한 jxl 라이브러리 Directory logs Logs 파일 Directory에 있는 웹서버 로그를 분석함 분석하기 위한 로그파일을 반드시 이곳으로 복사/이동 시켜야함 resources User-agent 매핑 Rule Set 및 결과파일 Templet Directory result 프로그램 수행후 결과파일이 생성되는 위치 src 프로그램 소스 위치 temp 취합된 로그파일이 임시저장되는 Directory extract 로그파일이 압축파일인경우 ( gz,gzip,zip) 압축이 풀리는 디렉토리

I. 인터넷 이용통계 추출 프로그램(Web Log Analyzer) 이란 6. 결과파일 설명 디렉토리명 설명 Hit_agent.txt Caching 된 매핑정보가 기록됨 log_analyzer_xxxx.xls 기기별,OS별,브라우저별 통계정보 생성파일 log_id_result_xxxx.csv Rule Set 별 집계 파일 Others_log_xxxx.csv 기타로 분류되는 user-agent 리스트 파일

I. 인터넷 이용통계 추출 프로그램(Web Log Analyzer) 이란 7. 결과파일 세부설명 log_analyzer_xxxx.xls 예시

I. 인터넷 이용통계 추출 프로그램(Web Log Analyzer) 이란 7. 결과파일 세부설명 log_id_result_xxxx.csv 예시

I. 인터넷 이용통계 추출 프로그램(Web Log Analyzer) 이란 7. 결과파일 세부설명 others_log_xxxx.csv 예시

I. 인터넷 이용통계 추출 프로그램(Web Log Analyzer) 이란 8. 동작프로세스 로그 파일 리더 쓰레드 기동 (병렬처리) 로그 파일에서 User-Agent 부분을 추출하여 메모리에 로딩 메인 Program 기동 결과파일 생성 Rule Set 변환 및 메모리 로딩 사전 매칭 데이터 메모리 로딩 로그파일 리더 쓰레드 기동 로그파일 분석 쓰레드 기동 쓰레드별 처리결과 취합 통계 데이터 및 로그 정보 생성 결과 파일 생성 로그파일 전달 로그 파일 분석 메모리에 올려진 로그를 가져다 맞는 Rule Set 을 찾음 쓰레드 기동 (병렬처리) 쓰레드별 결과 전달

II. 인터넷 이용통계 추출 프로그램(Web Log Analyzer) 사용법 1. 프로그램 설치 압축된 프로그램 파일을 분석을 위한 디렉토리로 이동 압축해제

II. 인터넷 이용통계 추출 프로그램(Web Log Analyzer) 사용법 2. 로그파일 준비 로그파일은 하단의 예와 같이 User-Agent 정보가 규칙적으로 존재하여야 함 (순서는 상관없고 동일한 규칙성을 띄고 있어야함) “Mozilla 로 시작하는 부분이 User-Agent 정보임 웹서버 로그 설정에 따라 User-Agent 정보가 없는 경우는 설정을 변경하여 User-Agent 정보가 남을 수 있도록 변경해야함

II. 인터넷 이용통계 추출 프로그램(Web Log Analyzer) 사용법 3. 로그파일 이동 준비된 로그파일을 logs 파일 디렉토리로 복사 ※ 로그파일이 압축된 형태도 지원함 (지원가능 압축파일 gz,gzip,zip)

II. 인터넷 이용통계 추출 프로그램(Web Log Analyzer) 사용법 4. 프로그램 실행 Command 창에서 프로그램을 설치한 디렉토리로 이동 ant 실행 - Windows,Linux 동일하게 수행함

II. 인터넷 이용통계 추출 프로그램(Web Log Analyzer) 사용법 5. 진행상태 확인 1을 누르고 엔터를 누르면 프로그램이 실행됨 로그파일 취합을 시작함 결과파일 양식 로드 Rule set 로드 취합된 로그 파일을 읽으며 매칭시작 결과파일 생성

II. 인터넷 이용통계 추출 프로그램(Web Log Analyzer) 사용법 6. 결과확인 프로그램 종료후 result 디렉토리에 4개의 파일이 생성됨 Hit_agent.txt 파일은 프로그램 수행시마다 갱신되지만 다른 결과 파일은 보존됨