스토리지 성능평가 기준 마련을 위한 기초연구 2009.10.23 목원대학교 고대식.

Presentation on theme: "스토리지 성능평가 기준 마련을 위한 기초연구 2009.10.23 목원대학교 고대식."— Presentation transcript:

1 스토리지 성능평가 기준 마련을 위한 기초연구 목원대학교 고대식

2 목차 추진배경 관련동향분석 스토리지 성능평가 기준 마련 위한 기초연구 결론

3 스토리지 성능평가 추진 필요성 대용량 데이터 저장장치인 스토리지는 벤더별로 구성방식 및 성능 평가 기준이 서로 다른 문제점 발생 성능 시험(BMT)을 자사에 유리한 방식으로 진행, 경쟁업체 대비 우수성 강조 널리 알려진 IOPS(초당 입출력)의 경우도 블록크기, 액세스(Random, sequential), 트랜잭션(Read, Write) 등에 따라 측정결과 상이 프로세서의 성능은 스토리지성능 보다 빠르게 개선되고 있음 스토리지 관리는 시스템 관리자에 의해 관리되기 쉽지 않은 분야임 스토리지는 40-60%의 비용 및 60-80% 의 TOC 를 분담함 스토리지 관리 비용은 스토리지 구매 비용의 2배를 차지하고 있음 스토리지의 다양성, 복잡한 스토리지 운영환경 등의 스토리지 환경 변화로 인해 스토리지에 대한 도입 및 운영에 대한 성능 평가가 쉽지 않음 자구 수정, iSCSI 추가

4 스토리지 성능평가 관련 동향분석 SPC : storage performance council
SPC는 스토리지 벤더 중립적인 표준 성능측정 기관. SPC는 스토리지 업계의 요구와 관심에 초점을 맞춘 업계 최초의 표준 성능 벤치마크. 컴포넌트 수준의 평가부터 전체 분산 스토리지 시스템의 측정까지 제공.

5 SPC 멤버 What does “high” mean? It’s a relative term. In general, higher than midrange systems, higher than previous generations, higher than many if not most customer requirements for a single disk system. AND, each vendor can identify some relative advantages of their system compared to competitive systems. The important question is what are the customer’s requirements and how do the systems compare in terms of addressing those requirements. EMC 미 가입

6 SPC specification SPC 에서는 SPC-1, SPC-2 specification 을 발표하고 있고
최근 back-up 시스템을 위한 SPC-3 draft 버전을 발표함

7 SPC-1 benchmark example (HP 스토리지 예)

8 SPC-1 결과보고 양식 (IOPS)

9 SPC-1 결과보고 양식 (용량)

10 SPC-1 (DAS)

11 SPC-1 측정 방법 요약

12 SPC-2 보고 양식

13 SPC-2 측정 방법

14 스토리지 성능평가 기준 기초연구

15 스토리지 성능 지표 (IO performance metrics)
IOPS (read, write 등 단위작업 트랙잭션처리능력) MB/s (초당 처리용량) TPS (Transaction per second: read, write, update 등 응용의 트랜잭션 처리수) Latency (response time) Reliability (오류가 발생할 확률로서 오류확률 또는 오류 간의 평균 시간인 MTBF(Mean time between failure, 평균 무고장 시간)으로 정의할 수 있음) Utilization(평균 가동시간은 통상 MTTF (Mean Time To Failure, 평균수명)으로 정의할 수 있음) 이중 IOPS, MB/s를 주요성능으로 결정

16 IOPS,MB/s, TPS IOPS (IO/s) - 초당 I/O 처리 건수 (SPC-1) TPS - 초당 트랜잭션 처리 수
일반적으로 random 작은 블록의 I/O를 처리하는 능력을 평가 OLTP (online transaction processing) 어플리케이션, 데이터베이스, 메일 서버 => 전형적으로 2K – 16K , micro benchmark tool 인 Iometer, 나 bonnie ++ 에서 측정 MB/s (Throughput ) - 초당 처리할 수 있는 용량 (SPC-2) 일반적으로 sequential 큰 블록의 I/O를 처리하는 성능을 평가 대용량 프로세싱, 스트리밍 어플리케이션, 큰 파일 액세스, 백업/재저장, 배치 작업, VTL 대역폭을 위한 요구사항 (어댑터, 링크 속도, 호스트 포트) 이 반드시 충족되어야 함 TPS - 초당 트랜잭션 처리 수 웹, 메일 서버와 같은 ISP 응용의 스토리지 성능평가 IOPS는 주로 read, write 만을 대상으로 측정하지만 TPS는 화일생성, read/write, 삭제 등 실제상황과 유사한 트랜잭션을 처리하는 능력을 평가 Macro benchmark tool 인 Postmark 에서 측정, What does “high” mean? It’s a relative term. In general, higher than midrange systems, higher than previous generations, higher than many if not most customer requirements for a single disk system. AND, each vendor can identify some relative advantages of their system compared to competitive systems. The important question is what are the customer’s requirements and how do the systems compare in terms of addressing those requirements.

17 스토리지 성능에 영향을 미치는 요소들 블록 크기 (data block size)
랜덤/순차성 (I/O mix of random or sequential access patterns) 읽기/쓰기비율 (balance of read and write operations) 측정도구(tool) 측정시스템 구성환경 (system configuration) Server configuration: CPU, memory, HBA 종류, 내장디스크 용량 및 개수 디스크 Cache 운영체제: 동일한 운영체제 및 패치 레벨적용 어플리케이션: 테스트에 사용되는 어플리케이션에 동일한 파라 미터 적용 스토리지: 동일한 호스트 포트속도 및 개수, 동일캐시용량, 동일디스크종류, 용량, RPM, RAID 레벨 ?

18 스토리지 성능평가를 위한 블록크기 OLTP, random 데이터용 스토리지 Stream, sequential 데이터용 스토리지
블록 크기: 4KB, 8KB (512B, 128KB) 주요응용 예: , web, OLTP, 전자결재 주요참고문서: SPC-1 중요성능지표: IOPS 512B 일 때 최고성능 값이므로 대부분 512B 채택하고 있으나 비현실적 Stream, sequential 데이터용 스토리지 블록 크기: 256KB, 1024KB 주요응용 예: VOD, batch, back-up (SPC-3 draft) 주요참고문서: SPC-2 중요성능지표: MB/s 블록 크기 클수록 최고성능 값

19 Read/write 비율 R, W 비율 결정 주요근거 Read only Write only
SPC 에서는 다양한 비율 적용

20 측정 도구(Tool) 스토리지 성능측정도구 IOMeter (Micro benchmark = 단위동작측정)
SPC 에서는 Tool 에 관해서는 일체 언급 없음 (별도 프로그램?) IOMeter (Micro benchmark = 단위동작측정) Bonnie++ (Micro benchmark=단위동작측정) Postmark: Macro benchmark용 (응용을 고려한 측정 즉 파일 생성, R/W, 삭제 등) Iometer와 Bonnie++ 중 벤더와 토론 후 최종결정

21 NCIA 현재 IOT 센터 시스템 구성도 ( 스토리지 성능평가에 활용?) SAN Switch DS-200B
DL380G5 Windows (Windows 2003 Enterprise) DL360G5 Windows (Windows 2003 Enterprise) DL380G5 LINUX (Cent OS 5) SAN Switch DS-200B Catalyst3750G Ethernet Switch CS-9183 KVM Switch 관리용 모니터 Storage CX3-10 Storage ETERNUS3000 UTP Cable KVM 통합 Cable Fiber Cable

22 SAN 기반 측정시스템 구성도 제안 SPC 에서는 벤더 자체로 측정시스템 구성
NCIA 의 현재 IOT 센터와 연계하여야 유용하므로 현 시스템 활용방안 모색 SAN 기반으로 측정시스템 구성 서버 및 운영체제에 대한 의견 수렴 SAN 스위치 및 인터페이스 의견수렴 Fastest HBA, server and FC interface

23 측정조건 요약 정리

24 결 론 벤더별 고성능, 중성능, 저성능 등급 가이드 라인 연구 과도기적 성능평가 방법 연구
스토리지 성능평가는 다양한 측정조건 때문에 결과값에 대한 공평성 문제가 있음 스토리지 성능지표로 OLTP, random R/W 데이터 스토리지용 => IOPS VOD, back-up, sequential R/W 데이터스토리지용 =>MB/s 스토리지 성능평가 측정조건 결정 블록 크기 Read/write 비율 측정도구 측정시스템 구성 벤더별 고성능, 중성능, 저성능 등급 가이드 라인 연구 과도기적 성능평가 방법 연구 다른 측정조건을 환산하는 방법 모색? SPC의 측정결과값을 활용? EMC ? 시험환경 및 시험방법에 대한 연구 계속

25 토론 및 향후계획 스토리지 벤더와의 토론 의견 수렴 및 적용방안 모색 스토리지 성능 환산방법 토론
SPC 비회원의 성능 값 획득방법 및 수용문제 토론 고성능, 중성능, 저성능 가이드라인 토론 측정시스템 구성안 토론 의견 수렴 및 적용방안 모색 이 자료는 기초연구자료임 자의로 확대해석 마시고 의견을 개진해주시길 바람