애플리케이션 품질 최적화 솔루션: HP Quality Center

Presentation on theme: "애플리케이션 품질 최적화 솔루션: HP Quality Center"— Presentation transcript:

1 애플리케이션 품질 최적화 솔루션: HP Quality Center
HP BTO 솔루션 사업 ㈜엔씨아이 TEL : fAX :

2 HP Software offering Business outcomes APPLICATIONS STRATEGY
SAP, Oracle, SOA, J2EE, .NET Project and Portfolio Management Center Demand and portfolio management SOA Center SOA transformation Quality Center Quality Assurance Performance Center Performance validation CIO office CTO office OPERATIONS Business Availability Center Business service management Network Mgmt. Center Operations Center Service-driven operations Change and Configuration Center Service Management Center ITSM Let’s talk about the products that support the Quality Assurance Functional Initiative. Under the application stack, you’ll find the Quality Assurance umbrella. HP Software leverages its technology in a solution suite called Quality Center. This includes: Functional testing Quality management And Lifecycle quality assurance

3 Quality Center within the SDLC
Where HP AD solutions fit in the SDLC DESIGN DEVELOP TEST LAUNCH MANAGE Business Requirements Development / Coding Unit Testing System / Integration UAT Manage SLAs Monitor User Performance GO NO-GO Testing Requirements Develop Use and Test Cases Performance Testing Tuning Provide Diagnostics Align IT to the Business PERFORMANCE CENTER BUSINESS AVAILABILITY CENTER QUALITY CENTER IT GOVERNANCE CENTER - Process supported by HP Optimization Centers - Process supported by HP Quality Centers

4 Accelerators for SAP, Oracle, 보안
HP Quality Center Dashboard HP Quality Center™ TestDirector 요구관리 사항 시험계획 시험수행 결함관리 확장SAP, SOA 비즈니스 프로세스 테스팅 Accelerators for SAP, Oracle, 보안 기능시험 QuickTest Professional WinRunner Service Test Let’s take a look at the HP Quality Center Solution Suite. At the top of the stack we have the dashboard. The dashboard is a real-time information portal which allows individuals and managers to digitize success criteria. Feeding into the dashboard is the test management layer, which is referred to as Test Director. This management layer includes: Requirements Management Test Planning Test Execution And Defect Management It also includes extensions for SOA and SAP Underneath Test Director, you have the automation layer, including our functional testing products: QuickTest Professional WinRunner SOA testing solution—Service Test To the right of functional testing is our test design solution known as business process testing. Business process testing is an optimal way to build and manage your testing initiatives, including subject matter experts, and the ability to reduce you test creation time by 50% or more. The solution automates the documentation and gives you the ability to produce robust, verifiable tracks of any quality initiative. The entire solution sits on a web-based foundation, available through the internet for 24X7 access on a global scale. Foundation 데이터 리포지터리 공유 중앙 집중화 관리 워크플로우 오픈 API Foundation Managed Services 결함 내부구축

5 Test Management 솔루션: TestDirector

6 Business Process Testing
HP Quality Center HP Quality Center™ Dashboard TestDirector Requirements Management Test Plan Test Lab Defect Functional Testing QuickTest Professional WinRunner Business Process Testing Accelerators for SAP, Oracle, Security Shared Data Repository Central Administration Workflows Open APIs Foundation Delivery Options HP Managed Services In-house Deployment Combination

7 Test Director for Quality Center
반복적인 품질 관리 프로세스 TestDirector는 품질관리 프로세스에 대한 효율적인 관리를 통해 프로젝트 적용 및 변경 적용에 대한 리스크를 최소화합니다. PMO와 정렬 설계 & 개발 테스트 요구사항 비지니스 요구사항 요구사항 관리 Go No-Go 품질 관리 요구사항과 연계 운영단과 연결 테스트 분석 결함 보고 테스트 계획 Defects 테스트 시나리오 실행 테스트 전략 테스트케이스 작성 및 자동화 Use Case 정의 품질 최적화 Issues Performance Test Diagnose Problems 성능 최적화 Mercury has developed a quality process that incorporates the best practices and expertise gained during seventeen years of developing testing solutions. The Mercury Quality Process starts with requirements management to ensure that applications are being tested against business needs. As requirements are being gathered, test strategies and use cases are being defined based on those requirements. The process then moves into functional testing and the optimization of the quality of the application using Mercury Quality Center. This involves the iterative process of creating test plans, building and executing test cases and scenarios, and the analysis of test results and reporting of defects. After functional testing, the application is then load and stress tested to optimize performance with Mercury LoadRunner and Mercury Performance Center. The source of any performance bottlenecks are pinpointed using Mercury Diagnostics and then fixed. Mercury integrates the Quality Process with other IT activities including: The PMO, to provide the PMO with visibility into the quality status of all projects in the delivery process and to keep the PMO and QA in alignment Demand Management, to ensure that QA has visibility into all upcoming change requests Production, to facilitate the re-use of testing scripts in production and to take advantage of scripts created by capturing real user behavior from monitoring applications in production. The Quality Process is automated with Mercury TestDirector, the industry's leading automated test management solution, which acts as a central point of control for all testing assets and provides the organization and structure for the entire Quality Process. All Quality assets reside in a single, centralized repository - enabling easy traceability, reporting, and collaboration among distributed teams. 품질 관리 저장소 모든 테스트 자산 관리의 중심 품질 프로세스를 위한 조직 및 구성 Test Director for Quality Center

8 Quality Management – 표준 테스트 공정 관리
특징 표준화된 글로벌(Global) 테스트 공정 관리 솔루션 웹 기반 테스트 관리 솔루션 테스트 관리 데이터베이스로 품질 정보의 실시간 공유 및 재사용 주요기능 테스트 요구사항 관리(Requirement Tab) 테스트 케이스 설계 및 스크립트 관리 (Test Plan Tab) 테스트 실행 및 결과 관리 (Test Lab Tab) 버그 및 결함 관리 (Defect Tab) 위 각 단계 별 표준 보고서 및 공정 분석 기능 Requirement , Test Case, Test Result, Defect 간의 상호 연관성 및 커버리지 분석 Development QA Team PMO Management TestDirector는 표준 QA 프로세스가 내재되어 있습니다. 글로벌 조직에서 원할하게 사용할 수 있는 웹기반 솔루션입니다, Central repository에 테스트 관련 정보를 관리, 유관 조직에서 쉽게 정보를 공유할 수 있고 재사용할 수 있도록 합니다. 저장된 데이터간의 연관관계 분석 및 실시간 분석이 가능합니다.

9 Quality Management – QA 프로세스 전 공정에 대한 표준화된 프로세스 제공
요구사항 관리 분석/설계 시 비즈니스 요건정의에서 테스트 요구사항 정의 => 테스트 계획 수립. 업무 및 화면단위로 요구사항 Hierarchy 구성 => 테스트 커버리지 구성 테스트 요구사항의 중요 점검 방법 기술 => 요구사항 만족도 점검 기준. 테스트 케이스 수행 상태 모니터링 => 테스트 수행 상태 점검 및 진도 체크. 테스트 계획 관리 테스트 요구사항에 의한 테스트 케이스 도출 => 업무별, 기능별 테스트 Repository 구성 테스트 케이스 상세 설명 및 업무 영역 정의(Custom Field 사용) 테스트 시나리오 작성 및 각 스텝 별 체크 포인트 작성 테스트 자동화 판단 및 스크립트 생성 가장 중요한 기능중에 하나로 테스트 자원을 회사의 자산으로 관리할 수 있게 된다는 겁니다. 먼저 지금까지의 테스트 케이스들이 체계적으로 관리되고 이 데이터를 새로운 모델을 만들때마다 재상용 가능하게 됩니다. 시간이 지날 수록 효율적인 테스트를 위한 테스트 케이스가 남게 됩니다. 또한 각각의 테스트 수행결과도 자동으로 기록됩니다. 누가 언제 테스트해서 어떤 결과를 냈는지 히스토리가 남게 됩니다. 요구사항관리 요구사항과 테스트 케이스 연결

10 Quality Management – 업무요구사항 Import
Word, Excel 형태의 요구사항을 Word add-in/Excel add-in을 통해 TestDirector에 import 기능 제공 Word, Excel 형태의 테스트 케이스를 Word add-in/Excel add-in을 통해 TestDirector에 import 기능 제공 Excel 형태의 결함을 Word add-in/Excel add-in을 통해 TestDirector에 import 기능 제공 Word 문서 Import 기능 화면 Excel 문서 Import 기능 화면

11 Quality Management – QA 프로세스 전 공정에 대한 표준화된 프로세스 제공
테스트 실행 관리 테스트 실행 그룹인 테스트 셋 구성 테스트 실행 업무 분장 및 실행 순서 정의 수동, 자동 테스트 케이스 실행 자동 실행 수행으로 24x7 기능 테스트 수행 테스트 실행 결과 이력 관리 테스트 실행 스케줄링 수행결과 이력관리

12 Quality Management – LoadRunner 테스트 케이스 및 수행 결과 관리

13 Quality Management – QA 프로세스 전 공정에 대한 표준화된 프로세스 제공
결함 관리 결함에 대한 원인 추적 비슷한 유형의 결함 분석 다양한 형태의 결함 보고서 자동 작성 그래프를 통한 결함 유형 및 트렌드 분석 결함 리스트 화면 결함 설명 결함 Comment 효율적인 결함관리를 할 수 있게 해줍니다. 테스트시 발견된 결함을 시스템에 등록하면 자동으로 해당 개발자에게 공지 됩니다. 개발자는 테스트 수행 결과를 보고 결함의 원인을 분석하고 결함을 수정합니다. 수정사항을 시스템에 등록하면 테스터는 재 테스트를 통해 해당 결함이 실제로 해결되었는지 확인합니다. 또한 이렇게 등록된 결함들에 대한 분석과 추적을 통해 소프트웨어의 설계나 기능이 실제 요구사항을 제대로 충족시키고 있는지 확인할 수 있게 됩니다. 또 테스트 진행에 있어 많은 시간을 소요하게 되는 보고서 작성 시간을 혁신적으로 줄여 줍니다. TestDirector는 시스템에 등록된 내용을 기반으로 자동으로 리포트를 작성해 줍니다. 실제로 TD를 이용한 테스트 관리의 ROI 분석에 있어 가장 많은 효율을 나타낸 부분이기도 합니다.

14 Quality Management – 실시간 보고서 및 그래프 제공
다양한 형태의 보고시 및 그래프를 실시간으로 작성 실시간 데이터를 직접 드릴다운해서 분석해 볼 수 있음 개발자별 결함 발생 비율 프로젝트 진행기간 동안의 결함 트렌드

15 Quality Management – 웹기반 Admin 화면제공
도메인/프로젝트 관리 화면 데이터베이스 관리 화면 사용자 연결 화면 Configuration 관리 화면

16 Quality Management – ADLC 관리도구와의 연동
ADLC(Appliction Development Life Cycle) 관리도구와의 연동을 위한 Open API 제공 3rd party 솔루션과의 연동을 위한 synchronizer 제공 Rational, MS, Merant, Serena, CA, Telelogic 등 Requirements Management TestDirector QuickTest Pro WinRunner LoadRunner LRMetro 3rd Party Test Tools Version Control Defect Tracking Help Desk Modeling Code Coverage Open API Repository

17 Dashboard – 실시간 프로젝트 현황 파악
다중 프로젝트 비교 비즈니스 로직에 따라 손쉽게 Configuration 진행중인 프로젝트의 KPI(Key performance Indicator) 트렌드를 대쉬보드를 통해 분석할 수 있습니다. 또 여러 프로젝트에 대한 비교분석도 가능합니다. KPI 트렌드 분석은 프로젝트의 스케줄링과 리스크 측정을 위해 매우 중요한 일. 즉 프로젝트의 경과에 따른 KPI 측정으로 프로젝트 마감일에 요구사항을 만족시킬 수 있을지를 판단할 수 있게 합니다. 만약 릴리즈 데이트에 KPI가 go-live 가능하지 않음을 나타낸다면 어느정도의 추가 개발기간이 더 필요한지를 추정할 수 있게 해줍니다. 정량적 fact를 기준으로 릴리즈 데이트에 대한 결정이 가능. Cross project 비료를 통해 가장 best project, worst project는 어떤건지 확인할 수 있습니다, best project의 practice를 다른 프로젝트에 활용할 수 있음. The Dashboard lets you view KPI trends, and compare KPI’s across projects. Viewing KPI trends is critical for date and risk estimations. You can measure KPI’s against timelines and determine if your project will have an acceptable KPI profile at the release date. If it will be unacceptable at the release date, you can extrapolate KPI trends to determine what an extra week or month will buy you. In short, you can have a fact-based discussion of the tradeoffs behind various release dates. Cross project comparisons are also critical. They let you put KPI measurements into context, and know whether a measurement is good or bad. In other words, the Delivery Dashboard lets you determine, measured by this KPI, is this one of my best projects, one of my worse projects, or somewhere in the middle? This in turn can lead to more sophisticated analysis: you can see which teams’ projects consistently have the best KPI’s and replicate those teams’ work practices across the organization. 사용자 역할에 따른 화면 정의 사용자 관점의 실시간 데이터 제공

18 Dashboard – KPI를 이용한 프로젝트 Health check

19 Dashboard – 다중 프로젝트 비교

20 TestDirector 도입 효과 테스트 전체 공정의 통합 관리 시간과 위치에 제약 없이 테스트 관리 정보의 실시간 공유
요구사항 관리, 테스트 계획과 실행 관리, 결함 관리 시간과 위치에 제약 없이 테스트 관리 정보의 실시간 공유 웹 기반(Internet Explorer, Netscape)의 테스트 정보 관리 테스트 전체 공정의 산출물 관리 요구사항, 테스트 케이스, 결함, 어플리케이션 개발 정보 등의 자료 관리 다양한 품질 분석 리포트 실시간 제공 테스트 커버리지, 결함율 등의 품질분석 표준화된 테스트 관리 및 비용 절감 표준화된 테스트 관리를 통한 애플리케이션 품질 향상 운영단에서 발견되는 결함율 감소 같거나 더 적은 인원으로 4배 이상의 테스트 수행

21 기능 테스트 자동화 솔루션: QuickTest Professional

22 HP Quality Center Dashboard HP Quality Center™ TestDirector
Requirements Management Defect Management Extensions SAP, SOA Test Plan Test Lab Business Process Testing Accelerators for SAP, Oracle, Security Functional Testing QuickTest Professional WinRunner Service Test Let’s take a look at the HP Quality Center Solution Suite. At the top of the stack we have the dashboard. The dashboard is a real-time information portal which allows individuals and managers to digitize success criteria. Feeding into the dashboard is the test management layer, which is referred to as Test Director. This management layer includes: Requirements Management Test Planning Test Execution And Defect Management It also includes extensions for SOA and SAP Underneath Test Director, you have the automation layer, including our functional testing products: QuickTest Professional WinRunner SOA testing solution—Service Test To the right of functional testing is our test design solution known as business process testing. Business process testing is an optimal way to build and manage your testing initiatives, including subject matter experts, and the ability to reduce you test creation time by 50% or more. The solution automates the documentation and gives you the ability to produce robust, verifiable tracks of any quality initiative. The entire solution sits on a web-based foundation, available through the internet for 24X7 access on a global scale. Foundation Shared Data Repository Central Administration Workflows Open APIs

23 수작업 Functional Test 의 문제점
제한된 테스트 일정과 인력으로 테스트 생산성과 어플리케이션 품질 저하 다양한 사용자 환경(데이터, 플랫폼)의 테스트 실행이 어려움 회귀(반복) 테스트의 생산성 문제 발생 Coverage & Efficiency Schedule Limitations Limited IT resources combined with tight schedules impact ability for manual functional testing to complete. Difficult Defect Replication Testers and Developers left to manually reproduce defects, increasing time and resources. Poor Environment Coverage Manual testing seldom includes verifications of all possible operating systems, browsers, etc. Incomplete Coverage Testing When development fixes are introduced, manual regression testing takes too long to do complete regression test. 테스터와 개발자간의 어플리케이션 결함 재현이 어렵고 많은 시간 낭비

24 QuickTest Pro – 3세대 자동화 솔루션
MS Windows GUI 어플리케이션에 대한 기능 테스트 자동화 솔루션 Record/Replay 형 2세대 솔루션에서 한단계 진화된 3세대 기능테스트 자동화 솔루션 Browser Client Web server/TD app server Database server

25 QuickTest Pro – 테스트 자동화 지원 환경
WinRunner QuickTest Pro Classic Common Emerging Web-Related Environments IE, Netscape JDK, Java Foundation Classes, AWT ActiveX Custom Client Server Windows/Win32 Visual Basic Stingray VisualAge Smalltalk ERP/CRM Oracle: 11i JD Edwards Web Client Legacy 3270 , 5250 Emulators vt100 Operating Systems Windows 98, 2000, NT, ME, XP Windows vista Custom C/S PowerBuilder 10.5 Delphi 7 ERP/CRM SAP Siebel 7.x PeopleSoft 8.x .NET WinForms WebForms HTC/Viewlink Delphi 8 .NET Winforms ERP/CRM PeopleSoft Windows Siebel 5, 6 GUI Clients Oracle GUI Forms Web Services Macromedia Flex Wireless Firefox browser Curl, AJAX, MiPlatform

26 QuickTest Pro – 손쉬운 반복 테스트
키워드보기(Keyword View)를 통한 직관적인 스크립트 스크립트의 가독성이 높고, 유지보수가 쉬움 GUI를 통한 입력 데이터 파라메터화 반복 테스트를 위한 데이터를 쉽게 관리 Data Table을 통한 반복 테이터 관리 Excel sheet와 유사한 Data Table 기능을 통해 데이터를 쉽고 간편한게 관리

27 QuickTest Pro – 스크립트 유지보수의 용이성
Active Screen을 이용한 스크립트 유지보수 스크립을 다시 레코딩하지 않고도 단계 생성기를 통해 로직을 추가 실행 결과를 자동으로 인식할 수 있도록 하는 체크포인트(표준 검사점)를 삽입

28 QuickTest Pro - 다양한 형태의 결과 검증
GUI Object checkpoints GUI 오브젝트의 상태 체크 Database checkpoints 입력된 데이터가 데이터베이스에 제대로 저장되었는지 Query문을 통해 확인 데이터베이스 쿼리 위저드를 통해 쉽게 확인할 수 있도록 함 Bitmap checkpoints 이미지에 대한 체크 XML checkpoints XML 데이터를 parsing 하여 원하는 attribute 값을 확인 Table checkpoint 테이블의 각 Cell 값을 확인 Accessibility checkpoints Link등에 접속이 가능한지를 체크 … and more ..

29 QuickTest Pro - 객관적인 테스트 결과 자료
테스트 결과 리포트 - 런타임 데이터 테스트 결과 리포트 - 테스트 결과 및 결과 화면

30 기능 테스트 자동화 솔루션 도입 효과 다양한 개발/운영 환경의 테스트 커버리지 향상
여러 클라이언트와 운영 환경의 테스트 커버리지 향상 테스트 스크립트를 이용한 테스트 실행속도 향상 테스트 팀은 테스트 실행 시간 절감, 주어진 테스트 일정 준수 소프트웨어의 기능 결함 재현 용이 개발자에게 기능 결함 재현을 손쉽고 정확하게 제공하므로 개발자의 결함 파악 및 수정 용이 사람으로 인한 테스트 에러율을 현저하게 줄여줌 사람이 테스트 함으로 인해 발생할 수 있는 테스트의 품질 저하를 줄여줌 Provides increased testing coverage Allows testers to focus on verifying new rather than existing functionality Creates tests that can be maintained and reused throughout the application life cycle Eliminates human error

31 *based on HP engagements
Quality Center 적용 ROI 품질 프로세스 전체를 관리 품질을 대표해주는 KPI를 실시간 파악할 수 있도록 해 준다 비즈니스 분석가를 포함한 품질 프로세스 상의 모든 역할에 필요한 애플리케이션 제공 같거나 적은 인원으로 최대 400% 까지 테스트를 수행할 수 있다* 운영환경에서 결함을 최대 75% 감소시킴* 단일 프로젝트 ROI 350% ; 3년간 ROI 1800% (IDC) *based on HP engagements

32 적용사례

33 D Computer 적용 사례 “컴퓨터 제조 프로세스에 TestDirector를 이용함으로써, 생산성 향상 및 프로젝트 당 $4700 이상의 투자대비효과를 보았다. ” World’s Largest PC Manufacture Company Challenge Time-to-Market 요구 (제품 개발 일정 주기 축소요구) 결함으로 인한 고객지원 서비스 비용 증가 및 브랜드 인지도 감소 Solution TestDirector PC 제조 과정에서의 결함 획기적인 감소 결함 감소로 인한 부대 비용 감소 효과 테스트 소요 비용 자체의 감소 – 프로젝트 당 약 $4700 절약 효과 Results

34 D Computer - ROI 분석 ROI 기준치 테스트 인건비 : $47/HR 프로젝트당 테스트케이스 수 : 500
프로세스 TD 미사용 (시간) TD 사용 (시간) 감소 효과 (%) 감소 비용 테스트 계획 작성과 정보 관리 40 hrs 8.5 hrs 78 % $1,480 테스트 실행 결과 보고와 정보 관리 2.5 hrs 94 % $1,762 결함 요약 보고와 정보 관리 1.5 hrs 96 % $1,809 프로젝트 테스트 진척도 보고와 정보 관리 200 hrs 3 hrs 98 % $9,259 합 계 320 hrs 15.5 hrs 366% $14,310/3 project ROI 기준치 테스트 인건비 : $47/HR 프로젝트당 테스트케이스 수 : 500 프로젝트 수 : 3

35 VodaFone “We improved our time to market by 40% within a year.”
World’s Largest Mobile Operator Performance issues with billing platform Time to market urgency Resource constrained Challenge Performance Center Quality Center Solution Background: Vodafone has become the largest company in Europe by market capitalization and the largest telecommunications company of its kind globally, with a customer base over 100 million and interests in network operators across 28 countries. Challenge: Needed to reduce the contract testing staff working on the billing project They perform an upgrade process every three months on their billing platform in order to gain the quality stats they take measurement of the number of bugs, defects and reporting problems in each pre-sales release version at 80% point into each cycle Solution: Reduction in contract staff archived 1300% improvement in quality based on the introduction and continued use of the automated functional testing now able to automate previously manual time inclusive tests Time to market improvements – based on quality of improvement – less bugs, higher quality, faster delivery Automated testing, reduced manual contractors by 350% Improved time to market by 40% Improved quality by 1300% (bugs, defects, problems) Results

36 SK Telecom “We reduced risk of mission critical application delivery”
SK Telecom, the world leading Mobile Service Provider Mission Critical Application의 Open System으로의 Down Sizing 단위테스트, 시스템 테스트, 통합 테스트 등의 다양한 테스트 프로세스에 대한 통합 운영 및 관리를 통한 어플리케이션 품질 향상 테스트 자동화를 통한 반복 테스트에 대한 생산성 향상 Challenge Solution Quality Center : TestDirector, QuickTest Pro 프로젝트 내 표준 테스트 프로세스 정립과 이에 대한 시스템을 통한 관리를 통해 프로세스 강제화 효율적인 요구사항 관리를 통한 품질 보증활동 강화 시스템 및 통합 테스트 시, 테스트 자동화를 통해 테스트 결과에 대한 객관성 확보 및 반복 테스트에 대한 생산성 증가 Results

37 SUMMARY “HP now stands as the uncontested leader in the ASQ market.(HP는 ASQ 시장에서 논의의 여지가 없는 리더로서 일어섰다.)” IDC “HP is the clear leader in the distributed testing space. (HP는 분산환경에 대한 테스팅분야에서 분명한 리더이다.)” Gartner

38 감 사 합 니 다