Hadoop network I/O Performance on Virtualized Cluster - System Perspective August 25th. 2015 Cho, Hyojae

Index 서론 Background Enhancing network I/O Evaluation Rack Awareness VM Consolidation 결론

Big Data 서론 - 1 디지털 정보의 팽창에 따른 big data 처리량 증가 big data 처리를 위해 구글, MapReduce 모델 제안

Hadoop framework 서론 - 2 MapReduce 모델을 오픈 소스로 구현 Yahoo, Ebay, Facebook과 Twitter

Virtualization, Cloud System 서론 - 3 Virtualization, Cloud System 가상화 기술에 기반한 클라우드 시스템 최신 컴퓨팅 트렌드 여러 개의 OS를 한 물리적 머신에서 작동할 수 있게 함. 비용을 줄이고자 하는 기업들에게 가장 중요한 요소.

Overhead 서론 - 4 가상화 레이어의 하드웨어 가상화 CPU/MEM : 하드웨어적 가상화 지원 오버헤드 발생 CPU/MEM : 하드웨어적 가상화 지원 Intel VT-x, AMD-V native 머신과 거의 비슷한 성능 하지만 network, disk I/O에서는 아직도 상당한 overhead 존재

Network I/O Overhead 서론 - 5 특히 network I/O overhead가 Hadoop의 전체 실행시간에 큰 영향. Network I/O overhead를 줄이면, 전체적인 성능 향상에 큰 효과 기대

3개의 대표적 설정 방법 서론 - 6 NAT Single Root I/O Virtualization Network Address Translation Bridge SR-IOV Single Root I/O Virtualization

이 문제를 해결하기 위한 방법 서론 - 7 더 나은 네트워크 모델 제안 3가지 방법을 조합 제안한 네트워크 모델에 맞는 rack awareness scheme제안 기존의 Bridge 네트워크보다 최대 147% 성능 향상

Virtualization Background - 1 Virtual Machine Monitor(VMM)이 하드웨어 자원을 가상화, 서로 다른 OS 구동. Performance overhead를 피할 수 없음. CPU, Memory는 native와 거의 비슷한 성능.

I/O overhead Background - 2 아직 disk, network I/O overhead는 가상화의 큰 장애물 SR-IOV H/W 레벨 서포트 Native 머신과 같은 퍼포먼스 일반적으로 사용하기엔 너무 비용이 큼

Hadoop and network traffic Background - 3 Hadoop and network traffic Hadoop Distributed File System 빅 데이터를 여러 클러스터 노드에 분산 저장. 네트워크 트래픽을 유발하는 3가지 유형 존재

Hadoop and network traffic Background - 4 Hadoop and network traffic Map 페이즈를 위한 데이터를 가져올 때 ‘연산을 옮기는 것이 데이터를 옮기는 것보다 저렴하다‘ Hadoop은 데이터가 있는 node에서 연산하도록 스케줄하게 되어 있음. 네트워크 트래픽 소모가 크지 않음.

Hadoop and network traffic Background - 5 Hadoop and network traffic Reducer가 입력 데이터를 요구할 때 대부분의 트래픽이 발생 Reducer가 연산한 결과를 저장할 때 역시 많은 트래픽이 발생

Rack Awareness Background - 6 Rack grouping을 통해 같은 랙 내에서 데이터통신이 일어나면, 트래픽을 줄일 수 있음 더 나은 성능을을 보임.

Enhancing Network I/O - 1 Motivation

Enhancing Network I/O - 2 Virtualization and Network Config. 주로 사용되는 3가지 네트워크 설정 비교.

Enhancing Network I/O - 3 NAT 각 VM에게 private IP 할당 같은 머신 내부 VM간의 통신 대역폭 높음 Virtio library 사용 Memory Copy 명령어 사용 외부 노드에서 VM에 접근 불가

Enhancing Network I/O - 4 Bridge Network 각 VM에게 public IP 할당 같은 머신 내부 VM간의 통신 대역폭 낮음 서로 통신하기 위해 software bridge를 거침. 외부 노드에서 VM에 접근 가능 Software bridge에 의한 CPU overhead

Enhancing Network I/O - 5 SR-IOV 하드웨어적 NIC이 VM에게 virtual NIC 제공 일반적으로 사용하기에는 높은 비용

Enhancing Network I/O–6

Enhancing Network I/O - 7 Bridge Networking with NAT NAT 같은 물리적 머신 내의 대역폭이 높음 외부 노드에서의 접근 불가 Bridge 같은 물리적 머신 내의 대역폭 낮음 외부 노드에서의 접근 가능

Enhancing Network I/O - 8 Bridge Networking with NAT

Enhancing Network I/O - 9 SR-IOV Networking with NAT Bridge 네트워킹을 SR-IOV로 치환 SR-IOV 네트워크는 Bridge에 비해 높은 퍼포먼스를 가지지만, 같은 물리적 머신 내에서도 1Gbps의 대역폭을 가지는 한계

Enhancing Network I/O - 10 Rack Awareness 제안한 네트워크는 한 물리적 머신 내의 성능 향상에 초점 Hadoop framework와 HDFS는 여러 개의 복제본을 만듬. 이를 Rack grouping을 통해 같은 물리적 머신 내의 복제본을 참조하도록 하여 성능 향상.

Enhancing Network I/O - 11 Hadoop Configuration 같은 물리적 머신 내의 통신은 NAT를 통해서, 다른 물리적 머신 간의 통신은 Bridge 사용. Hadoop framework의 수정 없이 설정 변경만으로 가능. Linux의 /etc/hosts 파일 수정. hdfs-site.xml 파일 수정.

Evaluation - 1 Environment

BR network performance - send receive Evaluation - 2 BR network performance - send receive VM : Virtual Machine PM : Physical Machine (Hadoop과 관련없는) HM : Host Machine

SR network performance - send receive Evaluation - 3 SR network performance - send receive

Evaluation - 4 TeraGen

Evaluation - 5 TeraSort

Evaluation - 6 WordCount

Replication Factor & Rack Awareness Evaluation - 7 Replication Factor & Rack Awareness

VM Consolidation Evaluation - 8 VM 통합의 효과 비교 PM을 2개 사용하였으나 퍼포먼스는 오히려 하락 VM 개수의 증가에 따라 격차 감소

Conclusion Hadoop을 가상화 클라우드/클러스터에서 수행 시 Network I/O를 최적화 할 수 있는 방안 제시 기존에 제시된 NAT, Bridge, SR-IOV를 조합하여 더 나은 성능을 이끌어 낼 수 있음 실험 결과 최대 147% performance improvement 달성