SW Testing Market Analysis 인프라솔루션실 2팀 박지혜 2017. 05. 26.

Table of Contents 1. 개요 2. 경쟁업체 3. 코드스크롤 & 애플리케이션 거버넌스 4. 생각해볼 점

1. 개요 개요

국내 SW 테스팅 시장의 열악한 환경 I. 개요 해외 시장과 대조적으로, 국내에서는 테스팅에 대해 큰 중요성을 두지 않고, 예산도 적은 비율로 편성하는 경우가 일반적입니다. 테스팅에 대한 인식 테스팅 예산 비율 [ 국내 ] 출처: World Quality Report 2016- 2017 (2015년 기준) 단위 : % [ IT 예산 중 테스팅 예산 비율 ] '꼭 필요한가?' '안해도 괜찮을텐데' [ 해외 ] 일부 글로벌 기업 및 기관, 테스팅 의무화 - 영국은행, 도이치뱅크 - 유럽자동차연합, 영국국가보건국 Microsoft, Apple 등의 글로벌 SW 기업  1 개발자 : 1 테스터 의료기기 관련 SW  1 개발자 : 10 테스터 4

성장하고 있는 국내 테스팅 시장 I. 개요 그러나 최근 테스팅의 필요성이 증대되고 있습니다. 현재 시장 규모는 아직 3,000억원 정도로 추정되지만 연평균 18% 정도 성장하고 있는 것으로 추산됩니다. 테스팅 필요성 증대 현재 시장 규모 SW 결함으로 인한 피해 사례 - 삼성 갤럭시 노트 7 리콜 사태 (2016) - 우리은행 전산 장애 (2006) 글로벌 시장 진출과 함께 SW 오류에 의한 법정소송 위협 증대 IoT가 확산됨에 따라 자동차에서 SW 비중이 늘어나고 SW에 의한 고장 또한 증가 (2015년 기준) 세계 시장 국내 시장 시장 규모 23조 2,000억원 3,000억~5,000억 연평균 성장률 15% 18% 출처: Technavio [ 국내 테스팅 관련 업체 수 ] 단위 : 개 [ 1998-2001 원인 별 차량 고장 증가율 ] 23% 3% SW에 의한 원인 SW를 제외한 원인 출처: 차량용 임베디드 소프트웨어 신뢰성평가 연구, 한국자동차공학회, 2011.03. 출처: SW산업협회 (관계자) 5

2. 경쟁업체 경쟁업체

다양한 소프트웨어 테스팅 관련 업체 II. 경쟁업체 국내 SW 테스팅 관련 사업은 크게 솔루션 판매, 테스트 컨설팅, 테스트 아웃소싱 등으로 나뉠 수 있습니다. 그 중 BWG의 직접적인 경쟁업체들은 솔루션을 판매하는 업체들입니다. 국내 시장 경쟁업체 솔루션 판매 지역 기업명 테스팅 사업 영역 솔루션 판매 컨설팅 아웃소싱 해외 HP O IBM MICRO FOCUS Atlassian 국내 뱅크웨어 글로벌 슈어소프트테크 지티원 와이즈 스톤 와이즈 와이어즈 인피닉 STA 컨설팅 아웃소싱 7

Rational Quality Manager 테스팅 솔루션 관련 업체 II. 경쟁업체 다양한 기능을 제공하는 솔루션 제품들 중, Q#/T#의 직접적인 경쟁제품들은 커버리지 산출, 정적 분석, 전문 테스트, 시뮬레이터 기능을 갖춘 솔루션들입니다. 테스팅(QA) 솔루션 시장 경쟁업체 HP IBM MicroFocus Atlas -sian 뱅크웨어 글로벌 슈어소프트 테크 지티원 와이즈 스톤 Quality Center Load Runner Rational Quality Manager Performan -ce Tester QA Load Silk Central Jira Q# T# 코드스크롤 애플리 케이션 거버넌스 OWL Egg Plant 커버리지 산출 O 정적 분석 전문 테스트 시뮬레이터 이슈 관리 성능 테스트 O　 기업별 솔루션 기능 커버리지: 특정 자원이 얼마나 테스트 되었는지를 확인할 수 있는 지표 정적 분석 (static code inspection) : 소스 정보만을 바탕으로 에러가 발생할 만한 곳이 있는지를 분석하는 것 전문 테스트: UI의 개발 및 변경과 관련없이, 전문 입력에 따른 처리 프로그램을 검증하는 것 시뮬레이터: 가상의 응답을 리턴하는 모의 응답기 기능 8

외산 솔루션 vs 국산 솔루션 II. 경쟁업체 잘 만들어진 국산 솔루션은 국내 시장에서 경쟁력이 있습니다. 그러한 측면에서 Q#/T#의 가장 직접적인 경쟁제품은 슈어소프트테크의 코드스크롤과 지티원의 애플리케이션 거버넌스입니다. 외산 솔루션 (HP) Quality Center, (IBM) Rational Quality Manager, (MicroFocus) Silk Central [ 장점 ] 성능, 기능 측면에서 우수 [ 단점 ] 국내 SW 개발 및 테스트 환경과 상이한 테스팅 프로세스 고가의 도입/유지보수 비용 언어 문제 국산 솔루션 코드스크롤 Q# / T# 애플리케이션 거버넌스 9

3. 코드스크롤 & 애플리케이션 거버넌스 코드스크롤 & 애플리케이션 거버넌스

뱅크웨어글로벌 vs 슈어소프트테크 vs 지티원 (1/2) III. 코드스크롤 & 애플리케이션 거버넌스 뱅크웨어글로벌 vs 슈어소프트테크 vs 지티원 (1/2) 뱅크웨어글로벌은 테스팅(QA) 솔루션 외에도 프레임워크, 코어뱅킹 시스템 등을 개발하고 SI 프로젝트를 수주하는 데 반해, 슈어소프트테크는 테스팅 솔루션 및 서비스 사업을 주 사업으로 합니다. 지티원은 애플리케이션 거버넌스, 금융 컴플라이언스 등 다양한 기업용 소프트웨어 제품 개발 및 공급을 주력으로 하고 있습니다. 비즈니스 영역 비교 뱅크웨어글로벌 슈어소프트테크 지티원 설립연도 2010. 06. (업력 7년) 2002. 03. (업력 15년) 2008. 01. (업력 9년) 직원 수 (2017. 04. 기준) 334명 179명 145명 비즈니스 영역 소프트웨어 개발 (Q#/T#, BXM, CBP, PF) SI 테스팅 소프트웨어 개발 (코드스크롤 등) 테스팅 서비스 (컨설팅, 3자 검증 등) 소프트웨어 개발 (애플리케이션 거버넌스 , 금융 컴플라이언스 등) 레퍼런스 금융 (농협 손해보험, KED, 현대해상, 홈&쇼핑) SW 솔루션 (싸이버로지텍) 공공 (한국전력) 자동차 (현대 자동차, 현대 모비스 등) 원자력 국방/항공 금융 철도/통신 /전자/SI업체 등 금융 (K Bank, KB 국민은행 등) 제조 (현대 자동차, 삼성전자 등) 통신 (LG 유플러스 등) 공공 (한국 전력 공사 등) 해외 등 (SAPPORO 등) 출처: 소프트웨어 정책 연구소 (SPRi), CEO 인터뷰 11

뱅크웨어글로벌 vs 슈어소프트테크 vs 지티원 (2/2) III. 코드스크롤 & 애플리케이션 거버넌스 뱅크웨어글로벌 vs 슈어소프트테크 vs 지티원 (2/2) 슈어소프트테크는 비록 재작년에 적자를 겪었으나 작년에 큰 흑자를 겪음으로써 뱅크웨어글로벌 못지않은 실적을 쌓아가고 있습니다. 지티원은 비교적 안정적인 수익을 창출하고 있습니다. 실적 비교 매출액 매출원가 매출총이익 판매관리비 영업이익 영업외수익 영업외비용 당기순이익 - + 단위 : 억(원) 단위 : 억(원) 단위 : 억(원) 339억 35억 30억 31억 20억 166억 129억 14억 80억 8억 -5억 -6억 bwg 슈어소프트 지티원 뱅크웨어글로벌, 2016 당기 순이익 증가 요인 슈어소프트테크, 2015 영업이익 적자 발생 요인 매도가능증권 처분이익 2015 - 2016 10억원 외주용역비 출장비 2015 9,800만원 2억 2,600만원 2016 600만원 7,300만원 출처: 금융감독원 전자공시시스템 (각 회사 감사보고서) 12

슈어소프트테크 코드스크롤 (1/6) III. 코드스크롤 & 애플리케이션 거버넌스 코드스크롤은 T#의 전문테스트 기능 및 Q#의 정적 분석, 커버리지 기능을 갖고 있습니다. 또한 코딩 가이드라인을 검사하는 기능과 임베디드 SW 테스트케이스 설계/실행 기능을 갖고 있습니다. 애플리케이션 거버넌스는 형상 관리와 보안 취약점 검사 등의 좀더 넓은 분야를 취급하고 있습니다. 기능 비교 Q#/T# T# 시뮬레이터 전문테스트 Q# 정적 분석 Q# 커버리지 산출 코드스크롤 Message Tester Sniper Cover Code Inspector Controller Tester 애플리케이션 거버넌스 Code Prism Change Miner Change Flow Security Prism Gap Miner Message Tester: 전문 테스트 Sniper: 런타임 에러를 잡는 정적 코드 분석 Cover: 테스트 커버리지 측정 (C/C++, java 언어 지원) Code Inspector: 코딩 가이드라인 검사 Controller Tester: 임베디드 소프트웨어 테스트케이스 설계 및 실행 (단위/통합 테스팅 지원 자동화 도구) Code Prism: 정적 분석 Change Miner: 변경 영향도 분석 (호출 연관 관계 가시화) Change Flow: 형상 관리 Security Prism: 소스 코드 보안 취약점 검사 Gap Miner: 테스트/운영/백업 등 시스템 서버들 사이의 프로그램/ 환경설정/DB의 차이를 자동 분석 13

Quality Scroll, AMOS, AVA 등 III. 코드스크롤 & 애플리케이션 거버넌스 슈어소프트테크 코드스크롤 (2/6) 코드스크롤은 각 산업별로 커스터마이징되어 기능을 유동적으로 장착합니다. 산업별 코드스크롤 기능 Message Tester Sniper Cover Code Insepector Controller Tester 산업 특화 도구 자동차 O Quality Scroll, AMOS, AVA 등 원자력 PLC Tester 등 국방/항공 전술 데이터링크 기반 상호운용성 시험 도구 등 금융 보험상품 개발 검증도구 Sniper : 가장 최근에 만들어진 도구 독일의 유명 인증사인 TÜV Rheinland로부터 정적분석 도구의 국제표준 인증을 획득 자동차 분야의 ISO 26262, 원자력 분야의 IEC 60880, 항공분야의 RTCA/DO-178C / DO-330, 철도 분야의 EN 50128 / IEC 62279, 산업전반에 적용할 수 있는 기본표준인 IEC 61508에 대해 SW 정적 분석 도구로 사용할 수 있도록 인증 받음 14

Quality Scroll, AMOS, AVA 등 III. 코드스크롤 & 애플리케이션 거버넌스 슈어소프트테크 코드스크롤 (3/6) 자동차 산업에서는 ISO 26262와 MISRA 품질 표준을 지키기 위한 도구로서 코드스크롤을 판매합니다. 자동차 산업에서의 코드스크롤 Message Tester Sniper Cover Code Insepector Controller Tester 산업 특화 도구 자동차 O Quality Scroll, AMOS, AVA 등 Cover: ISO 26262에서 요구하는 시스템 통합 및 테스트 단계에서 커버리지 측정  Code Inspector: MISRA C: 2004 / MISRA C++: 2008 / ISO 26262 규칙 모음 지원 Controller Tester: ISO 26262에서 요구하는 단위/통합 테스팅을 지원    품질 표준: - ISO 26262(Road Vehicles Functional safety – 자동차 기능 안정성) - MISRA(Motor Industry Software Reliability Association) 슈어소프트테크가 인증 받은 건: - ISO 26262, IEC 61058 인증 수행기관 – SGS-TUV (독일,2014년) 15

슈어소프트테크 코드스크롤 (4/6) III. 코드스크롤 & 애플리케이션 거버넌스 원자력 산업에서는 C/C++ 언어로 작성된 SW에 대해 NUREG/CR-6463 Software Review Guideline 품질 가이드라인을 지키기 위한 도구로서 코드스크롤을 판매합니다. 원자력 산업에서의 코드스크롤 Message Tester Sniper Cover Code Insepector Controller Tester 산업 특화 도구 원자력 O PLC Tester 등 Code Inspector: US NRC의 NUREG/CR-6463의 Software Review Guideline 지원 Controller Tester: C/C++ 언어로 작성된 SW에 대해 단위/통합 테스팅 자동화 지원 품질 표준: 없음 슈어소프트테크가 인증 받은 건: 없음 16

슈어소프트테크 코드스크롤 (5/6) III. 코드스크롤 & 애플리케이션 거버넌스 국방/항공 산업에서는 "무기체계 내장형 SW 획득 및 관리 실무 지침서" 및 DO-178B/C 품질 표준을 지키기 위한 도구로서 코드스크롤을 판매합니다. 국방/항공 산업에서의 코드스크롤 Message Tester Sniper Cover Code Insepector Controller Tester 산업 특화 도구 국방/항공 O 전술 데이터링크 기반 상호운용성 시험 도구 등 Code Inspector: 방위사업청 “무기체계 내장형 소프트웨어 획득 및 관리 실무 지침서”에서 규정하고 있는 코딩 규칙 65종 지원 품질 표준: - “무기체계 내장형 소프트웨어 획득 및 관리 실무 지침서(2011.11.30)” - DO-178B/C 표준 기반 FAA의 인증 슈어소프트테크가 인증 받은 건: - RTCADO-178B 인증 수행기관 – SGS-TUV (독일,2014년) 17

슈어소프트테크 코드스크롤 (6/6) III. 코드스크롤 & 애플리케이션 거버넌스 금융 산업에서는 특정한 품질 표준이 존재하지 않고, 코드스크롤이 크게 커스터마이징되어 판매되고 있지는 않습니다. 금융 산업에서의 코드스크롤 Message Tester Sniper Cover Code Insepector Controller Tester 산업 특화 도구 금융 O 보험상품 개발 검증도구 Code Inspector: 산업별 도메인(은행, 카드, 보험, 증권 등)에 맞는 코딩 가이드라인 준수를 위한 규칙 모음을 구성하고 적용 가능함 품질 표준: 없음 [ 보험상품 개발 검증도구 ] 보험상품 신규 및 개정 시에 필요한 상품 Factory 정보에 대한 검증 및 청약 업무 개발에 대한 시뮬레이션 검증을 지원 상품 출시의 Lead Time 및 Life Cycle 단축에 기여 슈어소프트테크가 인증 받은 건: 없음 18

4. 생각해볼 점 생각해볼 점

Q#/T#의 경쟁우위 IV. 생각해볼 점 Q#/T#은 Java를 사용하는 금융 프로젝트에서 사용 될 때의 큰 경쟁우위가 있습니다. Q#/T# 코드스크롤 금융 산업 레퍼런스 多 - 금융 산업 특화 기능 有 (Ex. EAI 관련 전문 테스트) Java 지원 BXM, CBP와의 연계 - "우리가 개발한 SW 검증 자동화 도구와 다른 도구들 간의 연동이다. 개발자들이 쓰는 도구는 한두 가지가 아니다. 따라서 독자적인 도구보다는 개발, 형상관리, 시험검증, 이슈관리 등의 여러 도구가 모두 연동될 수 있을 때 제품의 가치가 있었다." - 소프트웨어 정책 연구소 (SPRi), CEO 인터뷰 中 다양한 산업 (자동차, 원자력, 국방/항공) - 문제 발생 시 손해 비용 막대 (high risk) C, C++, Java 지원 20

참고 자료 "코딩만 가치있다?…국내 SW업계 인식의 한계", 심재석 기자, Digital Daily, 2012. 01. 01. [link] "‘SW 테스팅’ 없이 ‘SW 품질 확보’ 없다", 송요한 기자, IT Daily, 2016. 05. 31. [link] "SW 호환성 검증 `테스팅 사업` 부각", 이형근 기자, 디지털 타임스, 2016. 01. 29. [link] "소프트웨어 테스팅 시장 뜨는데… 자동화 길은 멀어", 유진상 기자, IT조선, 2016. 06. 09. [link] "SW테스팅 국제표준 주역 권원일 STA테스팅컨설팅 대표", 정용철 기자, ETnews, 2016. 01. 19. [link] "갤노트7 발화, 내부설계와 SW 결함 탓", 박건형 기자, 조선일보, 2017. 01. 15. [link] "테스팅 업계의 다크호스에서 선도업체로", 김선오 기자, 컴퓨터월드, 2015. 08. 31. [link] "슈어소프트테크, 차량 SW 오류잡는 테스팅도구 개발", 오찬종 기자, 매일경제, 2017. 03. 30. [link] "SW 시험검증 기업 슈어소프트테크, 테스트마이다스 합병", 도강호 기자, 테크M, 2016. 05. 24. [link] "소프트웨어 테스팅 산업 현황과 전망", 최성, 한국정보처리학회, <정보처리학회지>, 2011. "자동차 산업의 SW안전 이슈와 해결과제", 진회승/박태형, 소프트웨어정책연구소, <SPRi Issue Report>, 2017. "국내 SW 테스트 시장 활성화를 위한 솔루션 배포 및 기술지원방안", 와이즈 와이어즈, 2009. www.businesswire.com (비즈니스와이어) [link] https://kreditjob.com (크레딧잡) [link] http://dart.fss.or.kr/ (금융감독원 전자공시 시스템) [link] https://www.spri.kr/ (소프트웨어정책 연구소) [link] 21

감사합니다.