Rational Performance Tester 표준 제안서

I 시스템 / 응용프로그램 성능 테스트 1.1 제품개요 1.2 제품 특장점 1.3 제품 기능사항 1.1 제품개요 1.2 제품 특장점 1.3 제품 기능사항 1.4 Why Rational? 1.5 고객사례 1.6 경쟁제품 비교

Rational Performance Tester – 제품 개요 IBM Rational Performance Tester 웹 기반 애플리케이션 및 소켓, SAP, Siebel, Citrix 기반 애플리케이션에 대한 성능 상의 문제 발견 및 분석 성능 테스트 자동화 도구 숙련된 테스터와 경험이 적은 테스터들을 동시에 만족시키는 테스트 도구 테스트 수행의 복잡성을 단순화하여 테스트 생산성 향상 테스트 결과 분석 시스템 성능 및 시스템의 최대 가용성 판단이 가능하도록 다양한 데이터를 통해 성능상의 문제점 판별 및 원인 파악을 통한 문제 해결

Rational Performance Tester – 제품 기능사항 No Code Test 레코딩 및 결과물 테스트 생성을 위해 프로그래밍이 필요치 않음 Record & play방식 테스트 레코딩 결과는 웹 페이지 및 이미지 등과 같이 페이지 내에 포함되는 요소들의 리스트가 계층적 구조로 표시됨 계층적 구조의 에디터에서 자세한 정보는 하부에 숨겨져 있어 원하는 정보의 수준에 따라 에디터 확장 Request Connection Response 다양한 수준의 사용자에게 적합

Rational Performance Tester – 제품 기능사항 보다 실제와 유사한 테스트를 위해 여러 사용자 부하를 발생시킬 때 각 가상 사용자의 입력값을 사용자별로 변경하여 테스트를 수행할 필요가 있습니다. 또한 서버에서 발생되는 동적인 데이터를 이후 요청에서 사용하기 위해서는 이 값들을 동적으로 참조할 수 있어야 합니다. Complexity of Data 처리 Data Pooling 각 가상 사용자가 고유한 테스트 데이터를 사용할 수 있도록 data driven 기능을 포함 수행 중 서버가 발생시킨 동적인 데이터를 참조할 수 있도록 데이터의 관계 확인 ID : 홍길동 JSESSIONID=101 ID : 심청이 Data Referencing JSESSIONID=135 ID : 임꺽정 JSESSIONID=158 Data Referencing 실행 중에 사용될 데이터 값은 서버가 응답한 값과 동적으로 연결 Data Pooling 실행 시 사용되는 데이터 값은 데이터풀에서 읽어들인 고유한 값이 사용자 별로 사용됨

Rational Performance Tester – 제품 기능사항 성능 테스트는 실제 부하와 최대한 유사하게 구성하여 발생시킬 수 있도록 하는 시나리오 구성이 중요합니다. Workload Schedule 스케줄 실제와 유사한 부하 모델을 만들어 내는 것이 성능 테스트의 첫 번째 조건 코딩이 필요 없는 비주얼 에디터 제공 정밀한 워크로드 모델 구현 가능 Selector, loop과 같은 coordinator를 이용하여 여러 테스트에 다양한 조건을 통해 실제와 유사한 워크로드 모델 구현이 가능 다양한 시나리오의 스케줄 작성 사용자 그룹별 조건 적용 사용자 부하의 점진적인 증가/감소 테스트 수행 중에 부하 추가 실제와 같은 부하 생성을 위해 각 가상 사용자에게 고유한 TCP/IP 주소 이용 가능

Rational Performance Tester – 제품 기능사항 부하 발생 시 시간/사용자 등의 다양한 요소를 조정하여 테스트를 수행하고, 필요한 수준의 결과를 수집할 수 있어야 합니다. 스케줄 요소 세부 사항 테스트 실행 조건 테스트 스케줄 실행과 관련된 옵션 제어 사용자 부하 사용자 수 시간에 따른 사용자 수 증감 및 이에 따른 결과 구분 테스트 실행 지속 시간 Think time 레코딩 된 think time 고정 / Uniform distribution 등 통계 로그 레벨 수집되는 통계 데이터의 양 조정 테스트 로그 레벨 수집되는 테스트 로그 데이터 양 조정 자원 모니터링 테스트 수행 시 수집할 원격 서버의 성능 카운터 설정

Rational Performance Tester – 제품 기능사항 대규모 부하 발생을 위해 확장이 용이해야 하며, 적은 자원으로 최대의 부하를 발생시킬 수 있어야 합니다. 원격 부하 발생 RPT Workbench Agent 테스트 대상 시스템 부하 발생 적은 메모리 foot print와 CPU 사용량을 기반으로 대규모의 부하 발생 가능 Line speed control, IP Aliasing 부하 발생 시 Agent 없이 서버 자원 상황 수집 Windows : Perfmon Linux/Unix : rstatd Agent 종류 Windows AIX / Linux 추가 add-in을 통해 z/OS System Z를 부하 발생기로 사용 가능

Rational Performance Tester – 제품 기능사항 테스트 실행 중 및 실행 후에 분석을 위한 다양한 차트 및 테이블 기반의 리포트를 제공 합니다. 결과 분석 페이지 응답 시간, 페이지 요소 별 응답 시간, 테스트 성공 실패 여부 로그 제공 등 서버 자원 상태와 응답 시간 및 기타 수치들의 연계를 통한 다각적인 분석 (data Overlay 기능) 페이지 별 응답시간 응답 시간 추이 with 서버 자원 사용자 수 별 결과 페이지 처리량

Rational Performance Tester – Why Rational IBM Rational Performance Tester는 실제 사용자와 유사한 부하를 발생시키며, 이에 따른 시스템의 성능을 다양한 관점에서 분석할 수 있습니다. 필요 근거 효과 레코딩된 일련의 테스트에 다양한 조건(반복, 랜덤 선택, 지연 및 그룹 등)을 주어 실제 사용자 부하와 유사한 부하를 시뮬레이션 시나리오 구성 실제 사용자들이 발생시키는 부하와 유사한 의미있는 테스트 부하 발생이 중요함 실행 시 사용자 별로 사용되는 데이터 값은 준비된 데이터풀에서 읽어 들인 고유한 값으로 대체되어 수행됨 서버가 응답한 동적인 값을 참조하여 이후 요청에서 사용될 데이터 값 치환 데이터 처리 가상 사용자 별로 고유한 데이터 값(예:로그인 정보)을 처리해야 함 서버에서 동적으로 생성되는 값을 참조하여 서버에 요청을 보낼 수 있어야 함 가상 사용자 별로 고유한 데이터 값(예:로그인 정보)을 처리해야 함 서버에서 동적으로 생성되는 값을 참조하여 서버에 요청을 보낼 수 있어야 함 적은 메모리와 CPU 사용량으로 대규모 부하 발생이 가능 여러 부하 발생기에 부하를 분산시켜 대규모 부하 생성 다량의 부하발생 정해진 하드웨어(부하 발생기)로 많은 부하 생성이 가능해야 함 정해진 하드웨어(부하 발생기)로 많은 부하 생성이 가능해야 함 테스트 수행 상태 및 성능 수치를 실시간으로 사용자에게 제공 페이지 및 요청 등에 대한 다양한 측정치 제공 응답시간, 트랜잭션, 페이지 처리량 등 다양한 정보를 차트와 표로 제공 시스템의 자원 사용량 등을 제공하며 이를 다른 수치와 그래프 상에 연계하여 측정 가능 테스트 결과 분석 발생된 부하에 대해 시스템의 성능을 실시간으로 파악 여러 메트릭으로 측정하고, 자원 사용량 등 관련된 정보들을 조합하여 성능을 분석하고, 문제점을 파악하는 것이 중요함

Rational Performance Tester – 고객 사례 RPT 주요 고객 사례 고객사 적용 범위 SBSi 포털 성능 테스트 국민은행 시스템 성능 테스트 기업은행 인터넷 뱅킹 성능 테스트 KT 패키징 포털 제품 성능 테스트 Asiana IDT 프로젝트 성능 테스트 Prime Financial 내부 금융 정보 시스템 성능 테스트 신용보증기금 차세대 시스템 성능 테스트 한국 소프트웨어 진흥 공사 리눅스 기반 애플리케이션 성능 테스트 예금 보험 공사

Rational Performance Tester – 경쟁 제품 비교 RPT 경쟁 제품 비교 구분 기능 내용 IBM HP Comment 도구 환경 설치 환경 5 4 RPT는 Eclipse에 설치, LoadRunner는 Stand-alone 지원 프로토콜 HTTP, Socket, SAP, Socket 등의 프로토콜을 지원 사용자 편의성 스크립트 형식 언어 기반의 스크립트가 아닌 트리 구조 형태의 사용자 친화적 편집기 형태로 제공 브라우저 보기 기능 레코드 한 결과물 또는 부하 발생시 브라우저 보기 기능을 이용해서 직관적인 이해가 가능 언어 지원 스크립트에 기능을 보강할 경우 도구에 특화된 언어가 아닌 표준 Java 언어 사용 단일 도구 형식 3 RPT는 단일 도구에서 레코드, 부하 발생 및 분석이 가능 데이터 핸들링 사용자 데이터 치환 치환이 될 사용자 데이터를 자동으로 식별하여 후보 데이터 들을 포함되어 있는 페이지 별로 표시 GUI 상에서 치환될 데이터 필드에 import 된 데이터 변수를 할당 하여 별도의 코딩없이 설정 가능 서버 데이터 Correlation 레코딩 된 테스트 스크립트에 기록된 내용과 관계없이 서버가 응답하는 동적인 값을 식별하여 서버에 요청하는 데이터 값을 자동으로 응답된 데이터로 치환하는 기능 코딩 없는서버 데이터 치환 자동으로 인식되지 못한 correlation에 대해 별도의 코딩 없이 UI 상에서 치환 설정 가능 시나리오 작성 테스트 내의 coordinator 추가 각 페이지 단위로 레코드 내용을 구분하므로 loop, selector 등을 적용 가능 검증 포인트 제공 페이지, request 별로 서버의 응답을 응답 크기, 문자열 등을 비교하여 부하 테스트 시 내용 검증 가중치 부여 복수 개로 실행되는 각각의 스크립트에 가중치를 부여해서 발생되는 로드를 제어 가능 다양한 coordinator 제공 Loop등을 제공하여 특정 테스트 스크립트를 반복 수행하도록 제어 하는 기능 사용자 그룹별 부하 발생 사용자 그룹별 부하 설정 가능 및 그룹별 부하 비율 설정 지원

Rational Performance Tester – 경쟁 제품 비교 RPT 경쟁 제품 비교 부하 발생 조건 Think time 옵션 설정 5 테스트 스크립트에 기록된 think time을 이용하거나 임의의 think time을 적용하여 테스트를 실행하는 옵션 Flat 로드 시뮬레이션 일정한 시간 동안 테스트를 실행할 수 있는 기능 Ramp-up,Ramp-down 시뮬레이션 부하를 서서히 증가시키거나 감소시킬 수 있는 기능 동기점 추가 부하를 특정한 시점에서 동시에 추가시킬 수 있는 기능 로그 레벨 설정 수집하는 로그와 응답 데이터의 수준 설정을 통해 수집되는 데이터의 양 조절 가능 부하 발생 시 사용자 수 조절 클라이언트 가상 IP 주소지원 가상의 IP를 이용하여 각 가상 사용자 별로 다른 IP 주소를 이용하여 부하 발생하는 기능 부하 발생 부하 발생 시 적은 리소스 사용 4 부하 발생기 별 / 통합 리포트 작성 실시간 성능 분석 부하 발생 시 응답 시간 등의 모든 수치 파악 서버 자원 상태 수집 서버의 자원 측정 서버에 모듈 설치 없이 OS 지원 데몬을 이용해 측정 다양한 정보 수집 OS외에 다양한 DB, WAS 정보 수집 애플리케이션 성능 분석 WebSphere 및 WebLogic 환경의 J2EE 애플리케이션 분석을 위한 기능 기본 제공 외부 모니터링 도구(Tivoli ITCAM)와 연계하여 애플리케이션 분석 가능 보고서 및 테스트 로그 다양한 보고서 제공 사용자 정의 보고서 작성 보고서에 사용자가 원하는 메트릭을 추가하여 작성 외부 문서로 작성 Html, rtf, csv 형태로 출력 가능 로그 옵션을 통한 수집 내용 설정 로그의 자세한 정도를 변경하여 디버깅 수준에까지 활용 가능