Grid Computing & Virtualization Technical Support Team, eMediaTrack July 2008 Deok Jang Head of Technical Support

Presentation on theme: "Grid Computing & Virtualization Technical Support Team, eMediaTrack July 2008 Deok Jang Head of Technical Support"— Presentation transcript:

1 Grid Computing & Virtualization Technical Support Team, eMediaTrack July 2008 Deok Jang Head of Technical Support deok@emediatrack.net

2 회사소개  2004 년 설립  위치  본사 : 영국 런던 근교 Sutton, Surrey  개발팀 : 옥스포드 대학 소립자물리학 연구소  연구 / 개발 분야  그리드 컴퓨팅  가상 컴퓨터 Technical Support Team, eMediaTrack 2

3 3

4 ‘ 그리드 컴퓨팅 ’ 에 대한 잘못된 이해  한국에서는 3~4 년전 ‘ 그리드컴퓨팅 ’ 에 대한 이해가 잘못되었다.  유틸리티 컴퓨팅  클러스터링  파일공유 ( 영화, 동영상, 프로그램 등 )  P2P Technical Support Team, eMediaTrack 4 “ 이미 다 해본 시장성 없는 기술이다 ” 편견 존재

5 ‘ 그리드 컴퓨팅 ’ 이란 …  ‘ 그리드 (Grid)’ 라는 말은 전기에서 따옴 (Transmission Grid, Electrical Grid, Power Grid…)  마치 전기를 사용할 때 전기 ( 자원 ) 의 출처, 특성 등을 고려하지 않고 사용하듯이 … Technical Support Team, eMediaTrack 5 지리 / 물리 / 논리적으로 산재된 컴퓨팅 자원들을 출처나 특성을 고려하지 않고 사용하는 컴퓨팅 자원 : 프로세서, 저장공간, 측정장비, 매체장비, 영상장비 등 지리 / 물리 / 논리적으로 산재된 컴퓨팅 자원들을 출처나 특성을 고려하지 않고 사용하는 컴퓨팅 자원 : 프로세서, 저장공간, 측정장비, 매체장비, 영상장비 등

6 그리드 컴퓨팅 Technical Support Team, eMediaTrack 6

7 7 그리드 컴퓨팅 프로젝트들 그리드 컴퓨팅 프로젝트들

8 Google Trends 에서 보면 … Technical Support Team, eMediaTrack 8

9 Why? “Many of our grids (architecture, technology) are simply so complex that it is almost impossible to adjust them fast enough to take into account the ever-changing IT landscape.” – Grid Today News Letter Technical Support Team, eMediaTrack 9

10 Why?  “None of us have figured out a simple way to talk about (grid) … because it isn’t simple” – Frank Gillett, Forrester  When something takes an hour to explain, it’s difficult to sell !!!  “Grids meet Too much Computing, Too much Data, and never Too much Simplicity” – Geoffrey Fox and Marlon Pierce, Grid Community Technical Support Team, eMediaTrack 10

11 Grids are Dead! Or are they?  No !  Cloud Computing 과 견주어 보면 …  “There’s Grid in them thar Clouds” – Ian Foster  “Clouds are grids done properly” – William Fellows, The 451 Group Technical Support Team, eMediaTrack 11

12 “The good news is that clouds will help grids to survive. They teach grids that in order to be widely accepted and thus sustainable, they have to be simple, user-friendly, service-oriented, scalable, on-demand, SLA-driven, with simple APIs, and so on -- just like clouds.” – Grid Today News Letter Technical Support Team, eMediaTrack 12

13 최근 Grid Computing 적용 사례 Sun's Grid ‘Network.com’ Rendered Computer-Animated Movie "Big Buck Bunny" Technical Support Team, eMediaTrack 13

14 “grids may disappear and become a fact of life that everyone uses and nobody notices” – Martin Antony Walker, Hewlett-Packard Technical Support Team, eMediaTrack 14

15 Nereus 개발 시작 배경 Technical Support Team, eMediaTrack 15

16 LHC (Large Hadron Collider) at CERN 스위스 제네바에 위치한 둘레 26.7 킬로미터, 지하 50~175 미터에 있는 초대형 입자가속 충돌 실험기 Technical Support Team, eMediaTrack 16

17 Technical Support Team, eMediaTrack 17 Search for the Higgs Particle and exciting new Physics. 힉스 보존 (Higgs boson) 은 표준모형의 페르미온들에 질량을 주는 기본입자이다. 위 과정을 100 x 1,000,000 x 1,000,000 번 반복 !

18 그리드 컴퓨팅 절대적 필요  소립자 물리학 연구는 방대한 컴퓨팅을 요하는 작업  CERN 에서 LHC 데이타 수집 만을 위해서도 10 만대 PC 이상의 컴퓨팅 자원 필요 ( 분석용은 별도 )  CERN 에서 매달 1PB (1,000,000,000,000,000 바이트 ) 이상의 데이타 처리  소립자 물리학 연구 뿐 아니라 수많은 분야에서 대량의 컴퓨팅 자원 필요  유럽 천문학 협회에서도 컴퓨팅 자원 확보를 위해 그리드 컴퓨팅 도입 예정 (2008 년 6 월 EU Astronet Infrastructure Roadmap)  지구 온난화, 기상관측, 의학연구, 대체 에너지 개발 등 다수의 연구분야  Google, YouTube 등 인터넷 서비스 사업  유비쿼터스 (Ubiquitous)  etc Technical Support Team, eMediaTrack 18

19 그리드 컴퓨팅은 “Web on Steroids” : 웹은 전세계에 있는 컴퓨터들에 저장된 데이타 ( 정보 ) 를 접근하기 위한 기반환경을 제공하지만, 그리드 컴퓨팅은 정보 만이 아닌 컴퓨터 자원을 접근 및 사용할 수 있는 환경을 제공. WWWGrid Computing  웹 초기 5 년간 기하급수적 증가로 2 억개 이상의 웹사이트 존재  손쉬운 서버 셋업 : 예 ) 아파치 다운로드, 설치 >> GO  손쉬운 웹페이지 제작 : 예 ) 드림위버를 이용 웹페이지  그리드 컴퓨팅이 처음 거론된 후 10 년이 지난 지금 겨우 수천 곳에서 프로젝트 진행  Globus, Sun, IBM 등 솔루션들이 있지만 모두다 표준이 아니고, 설치 및 사용이 어려우며, 유비쿼터스 적이지 못함  복잡한 개발 과정을 거쳐야 되며, 네트워크 /OS/ 등 다양한 환경을 고려하여 제작되어야함 Technical Support Team, eMediaTrack 19 Q. 하드웨어와 네트워크는 갖춰져 있는데 무엇이 부족한가 ? A. 소프트웨어. 좀더 정확히 얘기하면 “ 그리드 미들웨어 ”

20 범용 그리드를 위한 필수 사항  Security : 개인정보 및 자원 보호  자원제공자의 정보 유출 차단  자원제공자의 정보 파괴 방지  Privacy : 사용자 데이타 보호  그리드 사용자의 데이타가 자원제공자에게 공개 방지  그리드 사용자의 데이타가 다른 그리드 사용자의 데이타 유출 차단  Reliability : 신뢰  제공자의 자원 피해 또는 파괴 방지  바이러스 등의 악성 코드로 인한 자원제공자 및 그리드 사용자의 피해 방지  자원제공자 본인의 컴퓨팅에 영향이 없도록 보호  Ease of Use : 쉬운 사용  컴퓨터공학박사나 겨우 설치 / 사용 가능한 시스템이면 안됨  Scalability : 대규모 확장  위 모든 사항들이 고려되어 수백 / 천만대 이상의 컴퓨팅 자원 연결 및 관리 Technical Support Team, eMediaTrack 20

21 그리드 미들웨어 평가 SecurityPrivacyReliabilityEase of UseScalability GlobusXXXXXXXXXXXXXX UDXXXXXXXXXX Sun GridXXXXXXXXX PlatformXXXXXXXXXX DigipedeXXXXXXXXXX DSXXXXXXXXXX Technical Support Team, eMediaTrack 21 X 가 많을 수록 부족

22 네트워크 컴퓨팅 Technical Support Team, eMediaTrack 22

23 Nereus 는 …  Intermesh  산재된 자원들의 연결망  다양한 자원들을 연결, 관리하는 그리드 미들웨어 (Grid Middleware) Nereus ( 너레어스 ): 그리스 신화에 나오는 바다의 신 Technical Support Team, eMediaTrack 23

24 Nereus 네트워크 Technical Support Team, eMediaTrack 24

25 Nereus 네트워크 컴퓨팅  글로벌 컴퓨팅 네트워크  E-Mail, WWW 처럼 사용자가 복잡한 네트워크 특성들을 고려하지 않는 컴퓨팅 네트워크 기반 환경 제공  자바가 지원되는 다양한 컴퓨팅 자원 연결  PC, 서버, 핸드폰, PDA, 셋톱박스 등 다양한 H/W  Windows, Linux, Unix, MacOSX 등 대부분의 OS  JVM + Sandbox 를 통한 강력한 보안처리  기업, 기관 등의 보유자원 연계 네트워크 Technical Support Team, eMediaTrack 25

26 Technical Support Team, eMediaTrack 26

27 Molecular Simulation 1 차 치매 연구를 위한 분자 시뮬레이션 Technical Support Team, eMediaTrack 27

28 Molecular Simulation 2 차 치매 연구를 위한 분자 시뮬레이션 Technical Support Team, eMediaTrack 28

29 Molecular Simulation 1,2 차 속도비교 Technical Support Team, eMediaTrack 29

30 Animation Grid ( agrid.cbs.co.kr ) Technical Support Team, eMediaTrack 30

31 agrid.cbs.co.kr Technical Support Team, eMediaTrack 31 400 프레임 = 20fps 20 초분량 동영상

32 Nereus + Rainbow Technical Support Team, eMediaTrack 32 Nereus Network 음성 방송 영상 방송 저비용 고비용

33 가상 PC 에뮬레이터 Technical Support Team, eMediaTrack 33

34 Vitualizer 와 Emulator VirtualizerEmulator  호스트 (host) H/W 를 논리적으로 연계 및 구성하여 가상의 H/W 를 제공  H/W 의 기능을 이용하여 호스트 OS 로 부터 차단된 환경으로 게스트 (guest) S/W (OS 포함 ) 를 구동  게스트 S/W (OS 포함 ) 가 호스트 H/W 에서 구동될 수 있도록 제작된 경우에만 사용가능 : 예를들어 Sparc 기반에서 x86 용 S/W 구동 불가  게스트 S/W 가 호스트 H/W 성능에 근접한 속도 가능  가상의 H/W 를 논리적으로 생성  호스트 H/W 와 상관없는 별개의 새로운 가상의 H/W 를 S/W 에서 생성  기반 H/W 에 비종속, 유동적 : 예를들어 Sparc 기반에서 x86 용 S/W 구동 가능  호스트 H/W 성능과 근접한 속도가 나오기 어렵다 Technical Support Team, eMediaTrack 34

35 JPC 는 …  가상 PC (x86) 에뮬레이터 (emulator)  자바기반으로 제작되어 다양한 환경에서 구동가능  PC, 서버, 핸드폰, PDA, 셋톱박스 등 다양한 H/W  Windows, Linux, Unix, MacOSX 등 대부분의 OS Technical Support Team, eMediaTrack 35

36 JPC 구동 예  수정되지않은 도스 (DOS) 를 일반 핸드폰에서 JPC 를 구동하여 부팅한 후 도스게임 마리오를 실행한 예 Technical Support Team, eMediaTrack 36

37 JPC 구동 예 Technical Support Team, eMediaTrack 37

38 무한한 응용 가능성 Technical Support Team, eMediaTrack 38

39 초대형 병렬처리 컴퓨팅 MPC (Massively Parallel Computing) ResearchFinance Data Mining Geological Exploration Engineering Weather Prediction Drug Discovery Astrology… Technical Support Team, eMediaTrack 39

40 다양한 응용 가능성 모바일 컴퓨팅 Mobile Computing 유비쿼터스 Ubiquitous 동영상 컨텐츠 Animated Contents 데이타베이스 서비스 Database Services 옛날 프로그램들 및 디지탈 자료들 Legacy Programs and Digital Preservation !!!!!!!!!! Technical Support Team, eMediaTrack 40

41 감사합니다. Technical Support Team, eMediaTrack 41 ? >> ! 미래를 예언하는 최고의 방법은 창조하는 것이다. The best way to predict the future is to invent it. - Alan Kay