EMPIRIX e-Load® 웹 애플리케이션 성능/부하테스트 솔루션

Table of Contents 제품 군 소개 성능 / 부하 테스트 필요성 웹 애플리케이션 부하테스트 툴 Reference e-Load 소개 및 구성 지원 환경 특장점 제품 기능 제품 비교 Reference 기술 지원 및 유지 보수 기술 지원 체계 기술 교육 유지 보수 2

1 제품 군 소개 3

Visual Script Database e-Manager Enterprise 엠피릭스 제품 포트폴리오 부하검증 e-Load 릴리스 후의 접속자 수의 성장을 예측하여, 접속 수 증가 시의 순간 부하에도 견딜 수 있는지를 사전 검증 시스템 구축 e-Tester 초기 릴리스에 필요한 기능을 세부적으로 검증 e-Load 부하테스트 e-Tester 기능테스트 OneSight 성능모니터링 Visual Script e-ME 공정관리 Database 운영 모니터링 OneSight 사이트의 상시 모니터링을 통하여 보완해야 할 문제점, 다음 버전에 강화해야 할 점, 시기 등을 사전에 색출 테스트 공정관리 e-Manager Enterprise

e-Tester : 기능 테스트의 자동화 e-Tester는 기능 및 회귀 테스트를 자동화 할 수 있는 도구로써, 쉽고 빠르고 정확한 테스트를 제공합니다. 특징 비주얼 스크립트 : 쉽고 간단하게 이해할 수 있는 스크립트, Point & Click 방식의 쉬운 스크립트 프로그래밍이 불필요한 스크립트 VBA 제휴 : 보다 깊이 있는 테스트를 위한 VBA 인터페이스 제공 하나의 스크립트 : e-Tester로 생성한 스크립트를 통해 e-Load 및 Onesight에서 재사용

e-Load : 부하 테스트의 자동화 Web 기반의 e-Load는 쉬운 사용법의 부하 테스트 도구 특징 쉽고 빠른 스크립트 생성 별도의 프로그래밍이 필요 없음 Point & Click 방식의 쉽고 간단한 테스트 Web 기반의 인터페이스 웹 기반 인터페이스로 쉽게 접근 가능 URL 접근을 통한 모니터 및 테스트 가능 사이즈에 따라 확장 가능한 복수 에이전트 타입 폭 넓은 분석 능력 및 에러 검출 실시간 데이터 뷰 지관적인 서버 정보 실시간 획득 HTTP 에러 및 컨텐츠 에러 검출 가능

Onesight : 사용자 관점의 성능 관리 사용자 관점 사용자 관점에서 운영 시 Web 애플리케이션의 성능을 지속적으로 모니터링 및 관리함으로써 최적의 사이트 운영 사용자 관점 단순한 프로토콜 레벨의 기록이 아닌, 최종 사용자 동작을 에뮬레이션하여 실제 트랜잭션을 실행함으로써 애플리케이션의 응답시간을 측정하여 기능성 모니터링을 실시 서비스 레벨 관리 시스템이 제공하는 서비스 레벨을 고객 체험에 근거한 평가가 가능하여 기업이나 IT조직이 시스템의 성능이나 가용성을 객관적으로 판단할 수 있는 기준 지표를 제공

e-Manager Enterprise : 프로젝트 통합 관리 Web 또는 CS 기반을 제공하며 테스트 요구사항 정의, 테스트 케이스, 테스트 결과, 결함 관리 등 프로젝트 관련 모든 공정 통합 관리 고품질의 애플리케이션 구축 가능

엠피릭스 웹 솔루션 엠피릭스의 웹 테스트 및 모니터링 솔루션은 전 애플리케이션 라이프 사이클을 제공합니다.

웹 시스템의 라이프사이클을 통해 성능을 최적화 엠피릭스 웹 애플리케이션 성능 최적화 사이클 웹 시스템의 라이프사이클을 통해 성능을 최적화 시스템 구축 e-Tester 자원검증 리포트 결함 관리 기능/회기 테스트 e-Manager Enterprise 수동/자동 테스트 통합 스크립트 작성 요구사항 운영 모니터링 OneSight 성능테스트 부하/성능 검증 e-Load 보틀넥 검증 서버 모니터링 볼륨테스트 트랜잭션 모니터링 사이징테스트 네트워크 기기 내구성테스트 운영 모니터링 한계테스트

2 성능 / 부하 테스트의 필요성 11

웹 애플리케이션은 웹 애플리케이션은 빠르고, 복잡하게 발전 비즈니스 성공의 열쇠 System 웹 애플리케이션 성능 관리의 필요성 고객 만족 수준 및 매출 실적 향상 압박 ! 성능 문제를 미리 감지하지 못하는 것은 큰 리스크 최종 사용자의 이용 불편에 기인하는 매출 손실 고객은 쉽게 경쟁 타사 웹 사이트로 이동 웹 애플리케이션은 빠르고, 복잡하게 발전 웹 애플리케이션은 비즈니스 성공의 열쇠 System 웹 애플리케이션 이라고 하는 그릇과 시대와 트랜드의 변화 무상한 발전의 그릇 이 두 가지의 그릇은 우리에게 새로운 압박감을 가져다 준다. 이를 해결하기 위한 무단한 노력을 최소화 하기 위한 솔루션 제공을 엠피릭스에서 제공. Web 2.0 & Trend 수입 원천으로서의 중요성 고객과의 최초 접촉 창구 회사 이미지에 영향 잦은 추가, 변경 요구 새로운 테크놀러지 적용 요구 복잡한 상호 교환 기능 등

관리자 입장에서는 정상적으로 보이지만, 고객은 많은 불만! 기존 성능관리의 문제 엔터프라이즈 감시 솔루션으로 문제 없음 네트워크 서버 라우터 & 스위치 OK 최종 사용자가 체험하는 것은 BUT Objective of this slide: competitive trap for any infrastructure monitoring solution currently in place or being evaluated. Get the prospect to question what they have deployed. Infrastructure centric monitoring solutions (such as BMC, HP, or Tivoli) are not effective at managing SLAs. They really cannot tell you exactly what your end-user performance is. They provide you with a ton of data but limited information. Many of our customers have lived through the crisis where all of the gauges were green on their monitoring solution but customers were still complaining – and they have NO IDEA where to look. A Classic example is shown in the slide with the exception error. Unless you monitor transactions you cannot catch these problems. Most of the larger monitoring solutions are claiming to provide transaction monitoring capabilities but they have been proven to be extremely immature and limited – I.e they cannot handle complex transactions, such as session Ids, external windows, java intensive applications, etc. 응용 계층의 에러 관리자 입장에서는 정상적으로 보이지만, 고객은 많은 불만!

사이트 성능관리 문제 발생 AA은행의 인터넷 뱅킹 시스템에 장애가 발생, 고객들이 불편을 겪고 있다. 인터넷 뱅킹 사이트 접속이 제때 이뤄지지 않고 있으며 … 제공 : 연합뉴스 2005. 1. 25 세계 최대 인터넷 전자상거래 업체인 미국 아마존 닷컴은 8일 웹사이트에 장애가 발생해 고객들이 접속에 어려움을 겪었다고 밝혔다. 아마존 닷컴은 태평양 표준시 기준으로 8일 오전 8시30분부터 사이트 속도가 현격히 느려져 고객들이 자사 사이트에 접속해 제품을 구입하는 데 어려움을 겪었다… 제공：연합 인포맥스 2004-11-09 제3호 태풍 에위니아가 10일 한반도를 관통할 것으로 예상되는 가운데 오전 9시쯤부터 기상청 홈페이지가 접속 장애를 겪고 있다. 초기화면조차 열리지 않기도 하고 접속이 이뤄져도 수시로 장애가 발생하는 등 사실상 다운된 상태다... 제공：국민일보 2006. 7.10

부하성능 테스트 적용 대상 새로 개발 또는 변경한 애플리케이션에 대한 성능 검증 효과적인 시스템 용량 계획 및 최적화 필요 다수의 사용자 접속 시 기능과 성능에 문제가 없는가? 사용자 증가에 따른 부하를 언제까지 유지 할 수 있는가? 변경 수정된 애플리케이션이 기존 시스템에 문제나 영향을 주지 않는가? 효과적인 시스템 용량 계획 및 최적화 필요 현재 시스템은 애플리케이션을 위해 최적화 되어 있는가? 현재 시스템에서 병목 현상은 없는가? 갑작스런 사용자 증가로 시스템 병목에 대한 효과적인 추적 및 용량계획이 필요하다. 신규 서버 또는 솔루션 도입에 따른 벤치마킹 테스트 새로 구축할 시스템에는 어느 서버를 도입할 것인지 성능 비교가 필요하다. 새로 구축할 시스템에는 어느 솔루션이 가장 우수한 성능을 나타내는가? 새로 도입할 서버 혹은 솔루션의 성능은 만족스러운가?

< Source: Newport Group, Inc. > 성능 테스트 vs 프로젝트 성공률 실패그룹 6% 8% 26% 60% 성공그룹 6% 21% 35% 38% 성능테스트를 하지 않은 상태 운용개시 후 부하테스트 실시 개발종반에 부하테스트 실시 개발초기에 부하테스트 실시 사양결정단계에 부하테스트 실시 < Source: Newport Group, Inc. >

종합 테스트에서 AP, DB서버의 문제가 발견되어도 수정하는 것은 쉽지가 않다. -> 비용 및 시간 문제 발생!! 부하 테스트 시 병목지점 Source: Empirix 종합 테스트에서 AP, DB서버의 문제가 발견되어도 수정하는 것은 쉽지가 않다. -> 비용 및 시간 문제 발생!!

3 e-Load 소개 18

e-Load : 정확한 부하, 높은 확장성, 쉬운 사용을 실현한 솔루션 TrueLoad 테크놀러지에 의한 정확한 부하 생성 자동적으로 세션 ID, 쿠키, 보안 관리에 대응 유저 사이드, 서버 사이드 에러를 정확하게 감지 서버 자원 모니터링으로 보틀넥을 용이하게 확인 모든 Encode 에 자동 대응 WAP, I-Mode 대응 Web0 Server Application Server Database Server e-Load ServerStats

e-Load 지원 환경 e-Load 서버 / 에이전트 설치 환경 Windows NT, 2000, XP, 2003, Vista Windows NT, 2000, XP, 2003, Vista, Unix, AIX, Solaris, Linux 등 상용/비상용 서버 지원 실시간 모니터링 서버 데이터 소스 • Allaire ColdFusion • Apache Web Server • ATG Dynamo Server • BEA WebLogic Server • BEA WebLogic Server 6.1 • BroadVision Server • BroadVision 5.5 Server • COM+ • F5 Load Balancer 2.x • F5 Load Balancer 3.1.1 • Fujitsu Interstage • JMX Server • FarSight Monitoring Service Data • Generic SNMP • HP-UX System • IBM AIX • IBM DB2 Database • IBM HTTP Server for AS/400 • IBM WebSphere Application Server 4.0 and Higher • iPlanet Application Server • iPlanet Enterprise Server for Windows NT • iPlanet Enterprise Server for UNIX • Linux System • Macromedia ColdFusion for NT/2000/XP • Microsoft Active Server Pages • Microsoft Internet Information Server • Microsoft SQL Server 6.5 • Microsoft SQL Server 7.0 and Higher • Netscape Enterprise Server for Windows NT • Netscape Enterprise Server for UNIX • Network Latency • Network Node Statistics • Oracle Database • RealServer for NT/2000/XP • Solaris System • Unix Statistics • Windows Media Server • Windows NT/2000/XP/2003 System • Siebel

e-Load 특장점 Web User Interface Real Time Reports and Graphs 웹 기반 인터페이스 제공으로 쉬운 조작을 제공 Real Time Reports and Graphs 실시간으로 가상유저 진행 상황을 리포트 및 그래프로 제공 Real Time Server-Side Statistics Monitoring 실시간 서버 사이드의 상태 모니터링 제공 TrueLoad Technology 실 사용자 부하와 상당히 근접한 결과, 응답의 자동 검증 , 동시 부하, 세션 관리 기능 Reuse of existing Visual Scripts e-Tester로 작성된 오브젝트 기반 스크립트의 재사용성 User-defined Virtual User Profiles 가상 사용자 개개인의 프로파일의 손쉬운 설정과 행동 패턴 설정 Single Point of Control with Distributed Agents 집중화된 콘솔 화면에서의 에이전트의 가상유저 관리 Data-Driven Load Testing 외부 데이터 소스를 활용하여 동적으로 가상 사용자 프로파일 설정

e-Load 특장점: 뛰어난 TrueLoad Technology 기술 구현 실제 웹 브라우저와 동일하게 부하 생성 지원 MIT 출신의 웹 브라우저 코어 엔진 개발자에 의해 개발 다양한 형태의 웹 브라우저 재현 지원

e-Load: Web 기반 인터페이스 웹 기반 인터페이스 제공으로 쉬운 조작 및 모니터링

(Excel, PDF, JPG, HTML, CSV) e-Load 구성 e-Load 서버 에이전트에 부하 발생 명령 전달 및 데이터 수집 ServerStat 기능을 통한 실시간 서버 자원 체크 및 수집 e-Load 에이전트 (테스트 가상 유저 수에 따라 변동) 부하 발생 에이전트 컨트롤 에이전트 부하발생 WEB WAS DB 부하/성능 테스트 실시간 그래프 테스트 데이터 수집 e-Load 서버 e-Load 에이전트 e-Load 서버의 ServerStat 기능을 통한 서버 자원 모니터링 넓은 확장성 리포트 (Excel, PDF, JPG, HTML, CSV)

e-Load 기능 주요 기능 테스트 시나리오 설정 부하 / 성능 테스트의 기본 시나리오 정의 설정 최대 가상유저 수, 테스트 시스템, ThinkTime 등 설정 Click & Point 방식의 쉬운 테스트 방식 심플한 인터페이스 구성 및 사용자 정의 구성 가능

e-Load 기능 주요 기능 오토 파일럿 설정 테스트 시작 / 종료 시점 정의 가상유저 증가 설정 서버 모니터링 설정

e-Load 기능 주요 기능 VU 그리드 보기 테스트 진행 사항에 따른 가상유저의 활동 내역 확인 테스트 진행 중 에러 발생 시 에러 항목 표시 에러 사항을 가상유저 디스플레이 결과 창을 통해 확인 가능

e-Load 기능 주요 기능 그래프 보기 테스트 진행 사항에 대한 트랜잭션 응답시간, 페이지별 응답시간, TPS, 서버 자원 상황 등 실시간 그래프 제공 그래프로 보고자 하는 항목에 대해 Click 을 통한 그래프 작성 6개의 기본 그래프 및 퍼포먼스 리포트 제공

e-Load 기능 주요 기능 리포트 작성 리포트로 작성 하고자 하는 항목에 대해 Click 을 통한 그래프 작성 다양한 형태의 포맷 지원으로 리포트 확장성 용이 성능 비교 리포트 작성 용이 PDF Excel CSV JPGE 리포트로 출력하고자 하는 항목 클릭

보고서 샘플 – 개선 전 서버 CPU 사용량 (right axis) 입력 시나리오 검색 시나리오 시나리오 응답 시간 (sec) (left axis) 가상유저 수가 60을 초과할 때 애플리케이션 서버 CPU% 가 100%에 도달하고, 응답시간이 요구 조건을 초과하기 시작함, 지원 가능한 유저 수를 증가시키기 위해서는 애플리케이션 코드를 재검토하거나 CPU를 증설하는 것이 해결 가능한 방안.

보고서 샘플 – 개선 후 개선 후 개선 전 서버 CPU 사용량 (right axis) 입력 시나리오의 응답시간 검색 시나리오의 응답시간 다중 부하 테스트 실행 결과 비교: 애플리케이션 서버의 코드를 재검토하고 변경한 결과 응답시간이 드라마틱하게 향상되었습니다. 애플리케이션의 CPU 점유율 역시 감소하였습니다. 그래서 현재 최대 100명의 유저를 지원하게 될 수 있게 되었다고 결정할 수 있습니다.

도입효과 및 기대효과 기 도입되는 시스템 및 애플리케이션의 성능 테스트를 통해 향후 운영 중 발견 될 수 있는 문제점을 사전 인지 할 수 있으며, 현재 시스템의 한계를 파악할 수 있습니다. 또한 운영중인 시스템의 경우 병목지점의 파악이 가능하여 최적의 시스템 상태로 운영 할 수 있습니다. 구축된 시스템의 성능지표를 정량화 하여 관리 효율성을 높임 시스템 운영 애플리케이션 오류 파악 및 수정 최적의 시스템 환경 구축 상호 연동되어 있는 하드웨어 장비 및 애플리케이션과의 병목지점 파악 및 수정 국제적으로 검증 받은 테스트 솔루션을 사용한 테스트 결과 산출물 획득

“항상 고객을 향한 최상의 선택 Empirix e-Load®!" 부하 테스트 툴의 선정기준 쉽고 간단한 스크립트 및 시나리오 작성을 통한 빠른 테스트 실시 브라우저 단 가상 유저 에뮬레이션으로 정확하고 강력한 부하 생성 다양한 결과 분석 데이터 및 리포트 생성 기능 제공 테스트에 필요한 모든 기본구성이 포함된 합리적인 가격 (All in one) ※필수확인사항 ☞ 신뢰성: 부하 테스트 결과 100명의 유저까지 견딜 수 있었던 시스템이 실제운용 단계에서 50명으로 떨어진다면? ☞ 유용성: 사용하기 쉽고 편리한가? 합리적인 가격인가? ☞ 기술지원: 문제 발생 시 신속하고 만족스러운 기술지원 서비스를 제공하는가? 부하테스트 툴의 선정도 중요하지만 올바른 부하테스트의 실시가 중요 머큐리에서의 300명 에서 문제가 없었던 사이트가 실제로 오픈한 결과 50 동시유저에서 다운!!! 부하테스트가 정상적으로 이루어 지지 않았다는 결과. “항상 고객을 향한 최상의 선택 Empirix e-Load®!"

4 Reference 34

대표 주요 고객 : 국내 국내 유수의 금융, 공공, 인터넷 포털, SI에 이르기까지 많은 기업에서 웹 애플리케이션 성능관리 요구 및 컨설팅에 적합한 벤더로 Empirix를 선택해 주셨습니다. 금융 서비스 공공 기관

대표 주요 고객 : 국내 교육 기관 / 서비스 IT 통신사

대표 주요 고객 : 국내 인터넷 / 연구원 제조 / 그 외

주요 고객 : 해외 세계 각국 3,400 사 이상의 고객들이 비즈니스상 중요한 시스템이나 애플리케이션들의 테스트, 모니터링 및 성능 관리 요구에 적합한 솔루션 벤더로 Empirix를 선택해 주셨습니다. 금융서비스 Aetna Bank of America CitiBank Countrywide Home Loans Farmer’s Insurance Federal Reserve John Hancock GE Capital Goldman Sachs H&R Block HSBC Morgan Stanley Dean Witter Peoples Bank Putnam Investments Royal Bank of Canada State Street Bank TIAA/CREF US Bank 텔레콤 AT&T Air Touch Cellular British Telecom Cingular Lucent Technologies MCI WorldCom Nokia Nortel Networks SBC Sprint PCS US West Vodafone IT 컨설팅 Accenture CSC Deloitte & Touche EDS IBM KPMG PWC Sapient 글로벌 2000 American Airlines AOL-Time Warner Boeing Bristol-Myers Squibb DuPont Johnson & Johnson PG&E Sears Raytheon UPS Xerox 테크놀러지 Agilent Cisco Compaq Dell Computer Fujitsu Hewlett Packard Intel J.D. Edwards Oracle Philips Sybase eCommerce AirTours Ltd. AM.com Answers.com Apartmentguide.com FreeMarkets.com Giftcertificate.com iVillage.com Zagat Survey 1-800-FLOWERS.COM 그 외 Saudi American Bank Deutsche Telekom Ag BBC News Online Sony Daily Telegraph Sumitomo Japan Seel Bank of Tokyo Vivendi Nihon Unisys NTT Data

5 기술 지원 및 유지 보수 39

기술 지원 체계 웹 애플리케이션 부하성능테스트 기술지원 능력을 보유하고 있는 한국 엠피릭스 공식 파트너를 통해 부하성능테스트도구인 e-Load,스크립트 작성도구인 e-Tester를 안정적으로 지원 받을 수 있으며, 웹 사이트, 전화, 이 메일을 통해 폐사의 지원을 받을 수 있습니다. 고객사 전문가그룹 고객사 담당 영업 기술 지원 팀 장애지원 콜센터 해당 영업 담당 해당 기술지원 담당 02) XXX-XXXX 웹사이트(Q/A] 기술 지원 팀 성능진단 컨설팅 팀 영업부 http://www.empirix.co.kr tech@empirix.co.kr tech@empirix.co.kr sales@empirix.co.kr

기술 교육 Standard / Advanced Training 교육시간 : Standard / Advanced 각각 : 6 H Standard Training Advanced Training

유지 보수 - Standard 유지보수를 위해 의존하는 수단 형태 등에 대해 한국엠피릭스는 지원 및 서비스를 폐사 및 공인 파트너 사로부터 국내 도입 고객께 제공하고 있습니다. 지원센터는 본사, 아시아본부, 한국지사에 있으며, 유지보수센터는 한국엠피릭스에서 제공하며, 고객께 On-Site 지원도 수행하고 있습니다. 유지보수는 기본 수준과 컨설팅 수준으로 구분되어 관리 됩니다. 구 분 내 용 Standard 고객 지원 운영 시간 : 월요일 – 금요일 (09:00 – 18:00) 단, 토요일, 일요일, 법정 공휴일 및 임시 공휴일에 접수된 문의에 대해서는 다소 지연될 수 있음 엠피릭스의 테스트 솔루션 전담 엔지니어에 의해 우선 지원 (엠피릭스, 공인파트너) 애플리케이션 엔지니어에 의해 99%의 즉각적인 전화 또는 이메일 응답 전화응답은 5분 (최장 4시간) 이내에 응답 이메일과 웹을 통한 요청에 대한 지원은 24시간 이내 응답 엠피릭스 e-Load 솔루션에 대한 백업 지원 제공 구매하신 제품의 신 버전 출시 시 소프트웨어 업데이트 제공 단계적인 진행 과정을 통한 고객 대응 고객 문제 발생 확인 시 즉시 지원 담당 매니저에게 통보 지원 담당 매니저는 기술팀, 담당 영업, 제품담당 관리자들에게 단계적인 통보 담당 영업은 단계적으로 해결된 문제에 대해 고객으로부터 확인 연 2회 업그레이드 무상 교육 실시 (교재 2권 무상제공, 교제 추가 시 무상제공) 필요 시 해당 제품에 대한 임시 라이센스 제공 (1주일 10vu) 연 4회 정기점검 방문 지원

유지보수 – 컨설팅 (Test Service) 구 분 내 용 컨설팅 (Test Service) 구매 또는 유지보수 해당 고객은 연 1회 Test Service 무상 지원 - 1회 테스트 서비스는 3일 기준으로 하며, 연장 지원 시 실비 정산으로 제공 - 1회 테스트 서비스 시 D-1 시나리오 구성, 스크립트 작성, D 부하성능테스트진행, D+1 부하성능테스트 결과 분석 작업 결과 분석 자료 제공 - 테스트 서비스 진행 시 결과 데이터 (Low Data) 즉시 제공 - 테스트 서비스 결과 보고서는 테스트 완료 후 3일 이내 제공

감사합니다