배포용 시험도구 매뉴얼 v1.0 (PerformanceEvaluation.exe)

Presentation on theme: "배포용 시험도구 매뉴얼 v1.0 (PerformanceEvaluation.exe)"— Presentation transcript:

1 배포용 시험도구 매뉴얼 v1.0 (PerformanceEvaluation.exe)

2 배포용 시험도구 목적 : 지능형CCTV 솔루션 개발사가 배포용 영상DB를 활용하여, 지능형 솔루션 개발에 활용하고, 사전 성능 시험을 할 수 있도록 합니다. 기능 : 배포용 영상DB에 대하여 평가점수를 산출하고, 평가 결과를 리포팅합니다. 성능평가/점수 산출 : GT와 SA 파일을 비교하여 성능 점수 계산합니다. 개별 또는 복수의 SA를 로드하여 계산 및 평가 합니다. 오류가 있는 SA에 대하여 오류 내용을 표시합니다. 세부항목 리포트 : 정상검출, 미검출, 오검출을 나열하고, 영상DB의 각 영상별 정상검출, 미검출, 오검출을 평가하여 성능 점수(F1)산출하고, 엑셀로 데이터를 출력합니다. SA 파일 성능평가 점수 계산 파일로드 결과 저장 Ground Truth

3 배포용 시험도구 실행 순서 1 2 3 4 엑셀 파일로 평가 결과 저장

4 배포용 시험도구 화면 구성 “PerformanceEvaluation.exe”을 실행합니다

5 배포용 시험도구 – GT 파일 선택 (1) “Ground truth 파일 로드” 버튼을 클릭하여, GT파일 선택합니다.

6 배포용 시험도구 – GT 파일 선택 (2) GT_폴더 선택  GT파일 선택  “Open” 버튼 클릭합니다.

7 배포용 시험도구 - SA 선택 (1) “시스템 경보 파일 로드” 버튼을 클릭하여, SA파일 선택합니다.

8 배포용 시험도구 - SA 선택 (2) SA폴더 선택  SA 파일 선택  “Open” 버튼 클릭합니다.

9 배포용 시험도구 – 성능 평가 및 점수 계산 (1) “점수계산” 버튼을 이용하여, 지능형CCTV솔루션 성능 평가합니다.

10 배포용 시험도구 - 성능 평가 및 점수 계산 (2) “점수계산” 버튼 클릭 후, 솔루션의 경보 분석 결과를 확인합니다.

11 배포용 시험도구 – 분석 및 시험결과 파일 저장 (1)
평가 결과를 편리하게 분석할 수 있도록 엑셀 형식으로 저장됩니다.

12 배포용 시험도구 - 분석 및 시험결과 파일 저장 (2)
결과 분석을 위하여 “result” 엑셀 파일로 저장됩니다.

13 배포용 시험도구 - 분석 및 시험결과 파일 저장(3)
저장된 result.xlsx 파일을 열어서 평가 결과를 확인합니다.

14 결과 파일 확인 다음은 성능 시험 결과의 결과 엑셀파일 예시입니다. 각 파일별 이벤트 검출 결과 이벤트별 검출 결과
솔루션 성능 평가 결과

15 프로그램 종료 “종료” 버튼을 클릭하여 실행 프로그램을 종료합니다.