일타쌍피!! 아이유(IU)가 아니라 UI 테스트 길(Road)이 아니라 Load 테스트

Presentation on theme: "일타쌍피!! 아이유(IU)가 아니라 UI 테스트 길(Road)이 아니라 Load 테스트"— Presentation transcript:

1 일타쌍피!! 아이유(IU)가 아니라 UI 테스트 길(Road)이 아니라 Load 테스트
Coded UI Test를 이용한 UI 테스트 자동화 및 Web Perf./Load 테스트 with Cloud 김태영(Taeyo) 부장, Technical Solution Professional / DPE Microsoft

2 세상에는 수 많은 테스트가 있다 스모크 테스트 단위 테스트 퍼지 테스트 웹/성능 테스트 부하 테스트 스트레스 테스트
드롭 테스트 스모크 테스트 단위 테스트 퍼지 테스트 웹/성능 테스트 부하 테스트 스트레스 테스트 UI 테스트 수동 테스트 예비 테스트 회귀 테스트 Guitar 등등 소프트웨어 테스트

3 애플리케이션 계층과 테스트 UI 테스트 단위 테스트 사용자 인터페이스 (ASP.NET, WinForms, XAML 등)
Presentation 계층 Business Logic/Service 계층 단위 테스트 Data Access/리파지토리 계층 Database

4 개발자의 테스트를 무시하지 마라 수동 UI 테스트는 언제나 우리들의 친구였다

5 Unit Test? Coded UI Test? Unit Test Coded UI Test
클래스와 메서드에 대한 API 수준의 테스트 개발 품질 향상을 위해 가장 우선적으로 고려해야 할 테스트 UI 관련된 부분을 테스트하기에는 어려움이 있음 Coded UI Test 사용자 인터페이스가 올바로 동작하는지 검사하는 테스트 응용 프로그램의 실행 동작을 레코딩 및 테스트 사용자의 키보드, 마우스 움직임을 시뮬레이트 UI 테스트를 단위 테스트처럼 자동화할 수 있음 통합 테스트 용도로 활용 가능 코드 검사분석(Coverage) 지원

6 테스트 경험의 발전 1/16/2019 F5 경험 일반적인 비-CUIT 테스트 일반적인 CUIT 테스트 UI를 검증하는 테스트
출처 : © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

7 UI Test 자동화를 위한 Visual Studio의 지원
1/16/2019 UI Test 자동화를 위한 Visual Studio의 지원 Coded UI Test Authoring Manual Coding Import Existing Test Case Record Actions Test Case Association Test Case Execution Methods Direct Execution Build Integration Test Manager Visual Studio IDE Unit Testing UI Automation Testing Performance Testing Load Testing Code Quality Analysis Defect Reporting Quality Analytics Code Coverage Build Reports Bug Creation Keyword Based UI Automation test creation is handled from the Visual Studio IDE. There are three methods for creating these tests: manual creation via code, keyword based scripts (using the preferred partner solution LogiGear), recording your actions as you interact with the UI, or importing an existing manual test case that has an action recording. Once the test has been created in the IDE, it can be ran from the IDE itself directly, from Test Manager, or automated as part of an automated build or deploy scenario. Automated UI tests can be associated with test cases in TFS for maximum visibility. Just like all other types of testing in Visual Studio, automated UI tests are backed by Team Foundation Server, enabling up to the minute detailed reporting. Depending on the method of execution, bugs can be created (directly in the case of MTM execution, or part of a failed build in the case of complete automation). © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

8 UI Test 자동화를 위한 Visual Studio의 지원
1/16/2019 UI Test 자동화를 위한 Visual Studio의 지원 Coded UI 테스트 작성 수동 코딩 기존 테스트 케이스 Import 레코드 액션 테스트 케이스 연계 테스트 케이스 실행 방법 직접 실행 빌드 통합 Test Manager Visual Studio 도구 단위 테스트 UI 자동화 테스트 성능 테스트 부하 테스트 코드 품질 분석 결함 보고 품질 분석 코드 커버리지 빌드 보고서 버그 생성 키워드 기반 UI Automation test creation is handled from the Visual Studio IDE. There are three methods for creating these tests: manual creation via code, keyword based scripts (using the preferred partner solution LogiGear), recording your actions as you interact with the UI, or importing an existing manual test case that has an action recording. Once the test has been created in the IDE, it can be ran from the IDE itself directly, from Test Manager, or automated as part of an automated build or deploy scenario. Automated UI tests can be associated with test cases in TFS for maximum visibility. Just like all other types of testing in Visual Studio, automated UI tests are backed by Team Foundation Server, enabling up to the minute detailed reporting. Depending on the method of execution, bugs can be created (directly in the case of MTM execution, or part of a failed build in the case of complete automation). © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

9 CUIT의 핵심. 코딩된 UI 테스트 빌더 테스트 녹화기 종료 코드 자동 생성 어설션 추가 스텝(단계) 편집
녹화/일시 멈춤/녹화재개 스텝(단계) 편집 어설션 추가 코드 자동 생성 테스트 녹화기 종료

10 CUIT의 핵심. 코딩된 UI 테스트 빌더

11 1/16/2019 코딩된(Coded) UI 테스트 © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

12 Data-Driven Coded UI Test
코딩된 UI 테스트 준비된 데이터를 사용하여 UI 테스트를 실행 현재 5가지 종류의 데이터 소스 형식을 지원 CSV, Excel, Test Case(TFS), XML, SQL Express 기 작성된 UI 테스트에 [DataSource] 어트리뷰트를 사용하여 적용 데이터 소스의 각 행은 코딩된 UI 테스트를 각각 반복 실행 실제 해당 데이터에 대한 접근은 TestContext.DataRow["열 이름"] 사용 테스트의 전체 결과는 모든 반복의 결과를 기반으로 함 테스트 반복이 하나라도 실패하면 전체 테스트 결과가 실패 참고 :

13 Data-Driven Coded UI Test
데이터 형식 데이터 원본 어트리뷰트 CSV [DataSource("Microsoft.VisualStudio.TestTools.DataSource.CSV", "|DataDirectory|\\data.csv", "data#csv", DataAccessMethod.Sequential), DeploymentItem("data.csv"), TestMethod] Excel [DataSource("System.Data.Odbc", "Dsn=Excel Files;Driver={Microsoft Excel Driver (*.xls)}; dbq=|DataDirectory|\\Data.xls;defaultdir=.;driverid=790;maxbuffersize=2048; pagetimeout=5;readonly=true", "Sheet1$", DataAccessMethod.Sequential), TestMethod] 테스트 케이스 (TFS) [DataSource("Microsoft.VisualStudio.TestTools.DataSource.TestCase", " "30", DataAccessMethod.Sequential), TestMethod] XML [DataSource("Microsoft.VisualStudio.TestTools.DataSource.XML", "|DataDirectory|\\data.xml“, "Iterations", DataAccessMethod.Sequential), DeploymentItem("data.xml"), TestMethod] SQL Express [DataSource("System.Data.SqlClient", "Data Source=.\\sqlexpress;Initial Catalog=tempdb; Integrated Security=True", "Data", DataAccessMethod.Sequential), TestMethod]

14 크로스 브라우저 지원 추가 컴포넌트 설치 필요 테스트 브라우저 설정
1/16/2019 크로스 브라우저 지원 추가 컴포넌트 설치 필요 Selenium components for Coded UI Cross Browser Testing 테스트 브라우저 설정 BrowserWindow.CurrentBrowser = “IE” BrowserWindow.CurrentBrowser = “Chrome” BrowserWindow.CurrentBrowser = “Firefox” © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

15 코드 검사분석(Code Coverage)
1/16/2019 코드 검사분석(Code Coverage) 얼마나 테스트 되었는지를 정량적으로 검증 코드 커버리지가 없는 단위 테스트는 앙꼬없는 찐빵 © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

16 Code UI Test Platform Support
1/16/2019 Code UI Test Platform Support 운영체제 Windows 7, 8, Windows Server 2008 R2 .NET .NET 2.0, 3.0, 3.5, 4.0, 4.5 (상기 버전으로 개발된 앱을 지원한다는 의미임) Internet Explorer 8 ,9, 10, 11 버전 지원 (10, 11은 데스크탑 버전만 지원) Window Store App 지원. XAML 기반 앱 Windows Forms와 WPF 써드파티 컨트롤 지원 Chrome, Firefox 최신 버전만 지원 Window Form 2.0 이상 MFC 부분적으로 지원 WPF 3.5 이상 지원 (다만, 일부 써드파티 컨트롤은 지원되지 않을 수 있음) SharePoint Dynamics CRM web client © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

17 Code UI Test Platform No Support
Internet Explorer 6, 7 지원안함 Silverlight (플러그인 설치 시 가능하긴 하나 문제있음) Flash Java Office Client Applications SAP

18 Visual Studio 11 1/16/2019 Coded UI Test Coded UI tests는 단위 테스트 수트의 일부로 실행되기 때문에, 결함을 조기에 발견할 수 있게 한다 Coded UI tests 는 소스 제어로 버전 관리도 가능하다 Coded UI 테스트와 그 밖의 회귀 테스트를 빌드 자동화의 일부로 실행하도록 설정하면, 개발팀은 테스트 실행에 관해 고민할 필요가 없다. 문제가 생기는 경우에 그 원인을 찾아서 해결하면 된다 Talk Track: As coded UI tests are code, you can attach them to your continuous integration build verification tests, or other automated builds to ensure that defects in your application’s UI are discovered as soon as possible. 룩앤필이 변경된다 하더라도, 자동화된 테스트는 여전히 잘 동작한다 © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

19 1/16/2019 demo : UI 테스트 자동화 © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

20 1 2 3 4 부하 테스트를 해야 하는 이유 성능 테스트 부하 테스트 스트레스 테스트 수용능력 계획
애플리케이션 코드가 얼마나 빠르게 수행되는가 부하 테스트 계획한 사용자 부하에 대해 애플리케이션이 어떻게 대응하는가 스트레스 테스트 애플리케이션을 멈추게 하는 사용자 부하의 주요 원인은 무엇인가 수용능력 계획 기대 수용 범위까지 향후 애플리케이션이 확장될 수 있는가

21 부하 테스트의 필요성 시스템이 목표하는 성능을 낼 수 있는 지 사전 검증
부하에 의해 시스템에 발생 가능한 문제를 사전 발견 및 조치 서비스를 위해 필요한 장비/비용 산정(a.k.a. Capacity Planning) 향후 개발/서비스 운영 시에 판단 기준이 되는 수치를 수립 소프트웨어에 대한 품질 향상과 개발팀에 대한 신뢰성 부여

22 부하 테스트 계획 예시 : 목표 설정 서비스 오픈 후 5분 이내 20만 명의 사용자가 유입 예상
웹 페이지에서 최소 응답시간은 2초 이내를 보장해야 한다 개별 서비스에는 장애가 있더라도 플랫폼은 장애 없이 안정적인 서비스를 제공해야 한다 시스템의 확장성을 확보해야 한다

23 부하 테스트 계획 예시 : 목표 수치화/구체화 (1)
서비스 오픈 후 5분 이내 20만 명의 사용자가 유입 예상 5분 * 60초 = 300초 200,000 / 300 = TPS 웹 페이지에서 최소 응답시간은 2초 이내를 보장해야 한다 웹 서버 자체의 처리 속도 + Static 컨텐츠(이미지) 속도 + 플랫폼 API에 대한 호출/응답 속도 사용자 체감 응답속도 (2초 목표) 즉, 플랫폼 API는 500ms 이내의 응답속도를 보장해야 함

24 부하 테스트 계획 예시 : 목표 수치화/구체화 (2)
개별 서비스에는 장애가 있더라도 플랫폼은 장애 없이 안정적인 서비스를 제공해야 한다 Stress Test를 통해 응답 속도가 지연되거나 타임아웃이 발생하더라도 Crash는 일어나지 않아야 한다. 불가피하게 Crash가 되더라도 Fail-Over가 정상적으로 수행되는지, Fail-Over 상황에서의 성능 수치도 확인한다 시스템의 확장성을 확보해야 한다 장비 수, 인스턴스 수, 설정 등에 대해 다양한 경우의 수를 조합하여 Comparison Test를 수행하여 성능을 비교한다

25 다양한 부하 테스트 도구 부하 테스트를 위한 도구 HP LoadRunner Visual Studio Load Test
JMeter ApacheBenchmark Grinder httperf

26 Why Visual Studio Load Test?
친숙한 Visual Studio IDE .NET 기반 테스트 코드 별도의 언어나 스크립트를 배울 필요가 없음 다양한 테스트 유형 지원 단위 테스트, 웹 테스트, UI 테스트 등… .NET 코드로 만들 수 있는 테스트는 모두 가능 필요한 기능은 거의 다 있음 상대적으로 저렴한 비용 무제한 VU (타 제품은 500 VU 당 $55,000)

27 웹 성능 테스트/부하 테스트 쉽게 테스트 시나리오를 작성하고, 서버에 대한 모니터링 대상 카운터를 설정
Visual Studio 11 1/16/2019 웹 성능 테스트/부하 테스트 쉽게 테스트 시나리오를 작성하고, 서버에 대한 모니터링 대상 카운터를 설정 Application, ASP.NET, .NET Application, IIS, SQL 등을 모니터 가능 결과는 텍스트 혹은 그래픽으로 보여줌 © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

28 부하 테스트 : 스샷 모음 Visual Studio 11 1/16/2019
© 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

29 1/16/2019 demo : 부하 테스트 © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

30 Visual Studio Load Test 구성요소/아키텍처

31 Visual Studio Load Test 구성요소/아키텍처
부하 테스트 작성 테스터를 위한 UI 제공 Control Test Agent를 제어한다 부하 테스트 데이터/성능 카운터를 수집한다 테스트 결과 저장소 VS Ultimate VS Test Controller (QTController.exe) SQL Server Local Controller Local Agent VS Test Agent (QTAgent.exe) VS Test Agent (QTAgent.exe) VS Test Agent (QTAgent.exe) 실제 부하를 생성 테스트 결과와 데이터를 컨트롤러로 전송

32 Controller, Agent 하드웨어 기본 사양
VS Test Controller 하드웨어 기본 사양 구성 CPU HD 메모리 30대 이하의 컴퓨터로 구성된 환경 (테스트 대상 서버와 Agent를 포함) 2.6 GHz - 30대 컴퓨터 x N 으로 구성된 환경 2.6 GHz, N 개 VS Test Agent 하드웨어 기본 사양 구성 CPU HD 메모리 500 이하의 가상 사용자 2.6 GHz 10 GB 2 GB 1000 이하의 가상 사용자 Dual processor 2.6 GHz N x 1000 가상 사용자 Dual 2.6 Ghz를 갖는 N 개의 Agent로 스케일 아웃 10GB 2GB

33 하지만, 부하 테스트 환경 구성은 간단하지 않다 부하 테스트는 예상보다 환경 구성에 비용이 많이 든다 프로비저닝이 복잡하다
인프라에 대한 예산 책정 및 구입 부하 테스트는 예상보다 환경 구성에 비용이 많이 든다 프로비저닝이 복잡하다 확장성을 확보하기가 쉽지 않다 유지 보수에 비용이 많이 든다 필요한 소프트웨어 및 에이전트 설치 물리적인 환경 구성 모든 컴퓨터에 반복적으로 작업

34 1 2 3 4 해법은 클라우드 부하 테스트 자체 인프라를 준비 및 구성하거나 유지보수 할 필요가 없다
필요할 때 언제든지 클라우드에서 인프라를 갖출 수 있다 온 프레미스에서 사용하는 부하 테스트 프로젝트를 그대로 이용할 수 있다 스트레스 테스트를 수행할 경우 등에 대비하여 쉽게 확장할 수 있다

35 클라우드 기반의 부하 테스트 비싼 인프라를 없이도 부하 테스트를 실행 원하는 만큼 많은 사용자로 부하 테스트 규모 확장
1/16/2019 클라우드 기반의 부하 테스트 테스트 인프라를 별도로 준비하지 않아도 되기에 더욱 효율적으로 응용프로그램을 구축할 수 있다 비싼 인프라를 없이도 부하 테스트를 실행 현실적인 부하 테스트를 만들기 위해서 다양한 성능 시나리오를 혼합하고 매치시킬 수 있다 원하는 만큼 많은 사용자로 부하 테스트 규모 확장 © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

36 단 2개의 설정으로 준비 완료 1) VSO 쓰겠다고 설정 2) 부하 인원 설정

37 클라우드 부하 테스트 실행

38 Visual Studio Online Team Foundation Server Visual Studio Online
1/16/2019 Visual Studio Online Build service | Load testing service | Continuous deployment to Azure | Application insights | Code editing Lab management | Release management | Load testing | SharePoint | Project Server | System Center 소스 제어 애자일 계획 팀 룸 테스트 케이스 관리 피드백 관리 빌드 및 지속적인 통합 Team Foundation Server Visual Studio Online © 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

39 Application insights Available Performing Succeeding 사용현황 대시보드 진단 대시보드
사용자의 사용 패턴과 가장 많이 쓰는 기능들 파악. 차기에 투자해야 할 요소를 예측 사용현황 대시보드 단일 대시보드를 통한 애플리케이션의 성능, 사용 현황 파악 진단 대시보드 통지 및 상세 분석 무엇인 문제인지 파악 의심되는 코드 및 테스트를 통지해준다

40 Application Insight를 통한 서버의 가용성 및 성능 분석

41 클라우드 부하 테스트 사용 조건 Visual Studio Ultimate 및 VSO 계정이 있어야 함
부하 대상 응용 프로그램은 인터넷을 통해 접근할 수 있어야 한다 15,000 사용자-분(min)은 매월 무료로 사용 가능함 관련 모든 정보는 참고

42 참고 Coded UI Test http://msdn.microsoft.com/ko-kr/library/dd286726.aspx
부하 테스트 클라우드 부하 테스트 Microsoft ALM Korea로 검색

43