기술부 1차 세미나 - SGE * Clunix 클루닉스 2006년 기술부/부장 서진우 Copyright © by Clunix. Inc All rights reserved.

SGE를 이용한 License 관리 환경 구축 SGE를 마치며.. 목차 SGE란.. SGE설치 환경 준비 및 설치 SGE 주요 기능 SGE를 이용한 분산 병렬 컴파일 환경 구축 SGE를 이용한 License 관리 환경 구축 SGE를 마치며.. 시스템 엔지니어링 분야의 시작과 끝이 있다면 그것은 운영체제 관련 분야입니다. 운영체제의 설치 자체 기술은 엔지니어 분야의 시작 시 다루는 기술이지만 실제 운영체제의 설치 의미는 설치 자체에 있기 보다는 운영체제를 설치 하는 시스템의 서비스 성격과 운영 정책을 사전에 고려 하여 운영체제 설치 계획을 세워야 합니다. 운영체제의 설치는 그 설치 방식에 따라 성능, 보안, 안정성, 시스템 가용성 등의 시스템 전체 성능이 좌우 됩니다. 기초 설치 문서나 서적에 의해 설치를 한다면 실제 서비스 자체 환경 구현은 가능 하겠지만, 최적의 성능이나 시스템 보안 레벨 시스템 회복 능력, 시스템 관리상의 효율성 등에서 실무서비스 환경을 고려한 운영체제와는 큰 차이를 보일 것입니다. 여기서는 실무 환경에 맞는 운영체제 설치를 하는데 고려 해야 할 사항과 실제 운영체제 설치 이후 설치 방식에 따라 이후 관리에 어떤 차이가 있는지, 그리고 안정적인 시스템 환경 유지를 위해 설치 이후 어떤 작업등이 필요한지에 대해 설명하도록 할 것입니다.

SGE란. SGE(Sun Grid Engine)란 Sun에서 개발한 분산 컴퓨팅 리소스 관리 프로그램 오픈 Sun License 버전과 상용버전이 있음 분산된 리소스에 대한 단일 접근점을 제공 분산된 리소스를 정책에 의해 효율적으로 분배 EDA,CAE 개발 환경에서 주로 사용됨 유사 제품으로 PBSpro, LSF 등이 존재 작업 대기열(queue), License관리(complex기능), 병렬컴파일(qmake) http://gridengine.sunsource.net

SGE 설치 환경 준비 SGE 설치 환경 준비 Linux kernel 2.4~2.6환경에서 지원 (IA32/EMT64t/AMD64) Solaris 32/64bit 환경 지원 분산 시스템간의 rsh,rlogin 환경에서 동작 기본 환경 구성 scripts와 플랫폼 별 binary 패키지 제공 sge-x.x-bin-xxxx.tar.gz sge-x.x-common.tar.gz 5.3~6.0 버전 존재 ( 6.0버전 설치 권장 )

SGE 설치 환경 준비 SGE 구성도 NFS L2 Switch Gigabit Shared File Server 마스터 제출,실행 백업마스터 제출,실행 제출,실행 제출,실행 Sge_qmaster Sge_schedd Sge_execd Sge_commd Sge_shadow Sge_execd Sge_commd Sge_execd Sge_commd Sge_execd Sge_commd NFS L2 Switch Gigabit Shared File Server

SGE 설치 환경 준비 SGE 역할 구성도 qsub –l arch=glinux a.sh qsub –l arch=glinux b.sh qsub –l arch=glinux c.sh CPU_NUM CPU_TIME MEM_USE SYS_LOAD LOGIN_NUM ETC_COM 마스트호스트 제출호스트 a.sh b.sh c.sh 실행호스트

SGE 설치 Sge 계정 생성 /etc/service 에 sge service 정의 Sge package 압축 해제 [root@ora01 ~]# adduser sgeadmin [root@ora01 ~]# passwd sgeadmin [root@ora01 ~]# mkdir -p /usr/clx/sge [root@ora01 ~]# chown sgeadmin. /usr/clx/sge [root@ora01 ~]# chmod 755 /usr/clx/sge /etc/service 에 sge service 정의 sge_qmaster      536/tcp sge_execd        537/tcp Sge package 압축 해제 Master host에 install_qmaster 실행 Exec hosts에 install_execd 실행

SGE 설치 설치 후 확인 서비스 데몬 실행 방법 Sge_master Sge_execd [root@ora01 sge]# qstat -f queuename                      qtype used/tot. load_avg arch          states ---------------------------------------------------------------------------- all.q@ora01                    BIP   0/2       0.00     lx24-x86       ---------------------------------------------------------------------------- all.q@ora02                    BIP   0/2       0.00     lx24-x86       서비스 데몬 실행 방법 Sge_master /etc/rc.d/init.d/sgemaster start | stop | restart Sge_execd /etc/rc.d/init.d/sgeexecd start | stop | restart

SGE 주요 기능 제출 기능 - qsub : 작업을 SGE 에 제출 할 때 사용되는 명령어 이다. 사용방법은 아래와 같다. ex> qsub  <submit scripts> [root@ora01 sge]# qsub examples/jobs/dc_shell-t Your job 1 ("dc_shell-t") has been submitted. * 작업 제출 확인 [root@ora01 sge]# qstat -f queuename                      qtype used/tot. load_avg arch          states ---------------------------------------------------------------------------- all.q@ora01                    BIP   1/2       0.00     lx24-x86             1 0.55500 dc_shell-t  root         r     03/03/2006 13:18:01     1         ---------------------------------------------------------------------------- all.q@ora02                    BIP   2/2       0.00     lx24-x86             2 0.55500 dc_shell-t  root         r     03/03/2006 13:18:01     1               3 0.55500 dc_shell-t  root         r     03/03/2006 13:18:01     1        

SGE 주요 기능 제출 기능 - qacct : SGE 사용 리소스에 대한 회계 정보를 보여 주는 명령어 이다. Total System Usage WALLCLOCK UTIME STIME CPU MEMORY IO IOW ===================================================================== 486245 283896 2358 354801 283177.169 0.000 0.000 - qdel : 제출된 job 을 대기열에서 제거하는 명령이다. [root@ora01 sge]# qdel -u root // root 사용자로 실행 된 모든 job 이 큐잉에서 제거 된다.

SGE 주요 기능 제출 기능 - qrsh 분산된 실행 호스트 중 시스템 부하 0.7 이하의 서버 중 로드가 가장 적은 서버의 터미널에 rsh로 접속 - qmake Makefile을 통한 Compiling 작업 시 Object들을 여러 노드로 분산해서 동시에 컴파일 - 주요 옵션 -v : 환경 변수 중 특정 변수를 동기화 한다 ( -v PATH ) -V : 모든 환경 변수를 동기화 한다 -cwd : 현재 디렉토리 pwd를 적용한다. -arch : SGE_ARCH를 정의한다.

SGE를 이용한 분산 병렬 컴파일 환경 구축 qmake -cwd -v PATH -l arch=lx24-x86 -- -j 24 --------------------------------------------------------------------------- dynamic mode /bin/sh /home/sgeadmin/php-5.1.2/libtool --silent --preserve-dup-deps --mode=compile gcc  -Iext/ctype/ -I/home/sgeadmin/php-5.1.2/ext/ctype/ -DPHP_ATOM_INC -I/home/sgeadmin/php-5.1.2/include -I/home/sgeadmin/php-5.1.2/main -I/home/sgeadmin/php-5.1.2 -I/usr/include/libxml2 -I/home/sgeadmin/php-5.1.2/ext/date/lib -I/home/sgeadmin/php-5.1.2/TSRM -I/home/sgeadmin/php-5.1.2/Zend    -I/usr/include -g -O2  -c /home/sgeadmin/php-5.1.2/ext/ctype/ctype.c -o ext/ctype/ctype.lo

SGE를 이용한 분산 병렬 컴파일 환경 구축 # qstat -f ----------------------------------------------------------------------------------------- queuename                      qtype used/tot. load_avg arch          states ---------------------------------------------------------------------------- all.q@n001                     BIP   3/8       0.35     lx24-x86    2865 0.55500 sh         root         r     03/03/2006 14:04:58     1    2876 0.55500 sh         root         r     03/03/2006 14:04:58     1    2877 0.55500 sh         root         r     03/03/2006 14:04:58     1 ---------------------------------------------------------------------------- all.q@n002                     BIP   6/8       0.11     lx24-x86    2807 0.55500 qmake      root         r     03/03/2006 14:03:58     1    2868 0.55500 sh         root         r     03/03/2006 14:04:58     1    2875 0.55500 sh         root         r     03/03/2006 14:04:58     1    2878 0.55500 sh         root         r     03/03/2006 14:04:58     1    2880 0.55500 sh         root         r     03/03/2006 14:04:58     1    2881 0.55500 sh         root         r     03/03/2006 14:04:58     1 ---------------------------------------------------------------------------- all.q@n003                     BIP   4/8       0.12     lx24-x86    2866 0.55500 sh         root         r     03/03/2006 14:04:58     1    2873 0.55500 sh         root         r     03/03/2006 14:04:58     1    2879 0.55500 sh         root         r     03/03/2006 14:04:58     1    2882 0.55500 sh         root         r     03/03/2006 14:04:58     1 ############################################################################ - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS ############################################################################    2883 0.55500 sh         root         qw    03/03/2006 14:04:46     1    2884 0.55500 sh         root         qw    03/03/2006 14:04:46     1    2885 0.55500 sh         root         qw    03/03/2006 14:04:46     1    2886 0.55500 sh         root         qw    03/03/2006 14:04:46     1    2887 0.55500 sh         root         qw    03/03/2006 14:04:46     1

SGE를 이용한 License 관리 환경 구축 SGE의 Complex기능을 이용하여 사용자 complex를 정의 Software Name License Number qsub –l sp=1 dc_shell-t “-l” 옵션 뒤에 software alias name(sp)에 라이센스 사용 개수를 적어 제출

SGE를 이용한 분산 병렬 컴파일 환경 구축 # qstat -f ---------------------------------------------------------------------------- queuename                      qtype used/tot. load_avg arch          states ---------------------------------------------------------------------------- all.q@uni01                    BIP   1/2       0.00     lx24-amd64     111 0.55500 dc_shell-t  root         r     03/16/2006 19:28:00     1 ---------------------------------------------------------------------------- all.q@uni02                    BIP   1/2       0.00     lx24-amd64     110 0.55500 dc_shell-t  root         r     03/16/2006 19:28:00     1 ---------------------------------------------------------------------------- all.q@uni03                    BIP   1/2       0.00     lx24-amd64     112 0.55500 dc_shell-t  root         r     03/16/2006 19:28:00     1 ---------------------------------------------------------------------------- all.q@uni04                    BIP   0/2       0.00     lx24-amd64 ############################################################################ - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS ############################################################################     113 0.55500 dc_shell-t  root         qw    03/16/2006 19:27:50     1     114 0.55500 dc_shell-t  root         qw    03/16/2006 19:27:51     1     115 0.55500 dc_shell-t  root         qw    03/16/2006 19:27:51     1     116 0.55500 dc_shell-t  root         qw    03/16/2006 19:27:51     1     117 0.55500 dc_shell-t  root         qw    03/16/2006 19:27:52     1     118 0.55500 dc_shell-t  root         qw    03/16/2006 19:27:52     1 ---------------------------------------------------------------------------

SGE를 마치며.. SGE는 그리드 리소스 관리 프로그램 Ensh, Encluster를 이용하여 System Load Average 기반의 LB(RSLB) 개발 가능 Linux, Solaris 버전이 호환됨으로 솔라리스용 RSLB 개발 가능 경쟁 제품인 LSF의 정체를 파악할 필요있음..