6.1 C3
에서 개발한 는
ORNL(Oak Ridge National Laboratory) C3 PC
의 시스템 관리를 돕기 위한 로 개발되었다
cluster user interface .
는 이며 또한 다른 프로그램 내에서도
C3 command line interface ,
호출하여 실행 시킬 수 있다. 현재의 OSCAR package에는
버전이 들어 있으며 로 동작하며 큰 규모
3.1.2-1 , multi-thread ,
의 cluster에 대해서도 scalability를 갖도록 설계되었다. c3의 명 령어는 일반적으로 서버노드에서 실행하며 특정한 노드를 지정하, 지 않을 경우 위에서( :1-4 와 같이) 모든 클라이언트 노드들에 대한 명령(single-system illusion)으로 실행된다.
의 가장 일반적인 로서 모든 클라이언트 노드에 cexec - c3 utility
대하여 어떤 종류의 셀 명령어도 실행할 수 있다.
ckill - process
이고자 할 때 실행된다.
파일 혹은 디렉토리를 모든 클라이언트 노드에 복사할 cpush
-때 사용한다.
앞의 예에서 보듯이 에 를 할 때
cpushimage - client image update 사용된다.
모든 클라이언트 노드에 존재하는 파일 혹은 디렉토리를 crm
-지우고자 할 때 사용한다.
모든 클라이언트 노드를 혹은 시
cshutdown - shutdown, reboot 킬때 사용한다.
다음은 간단한 예이다.
이 패키지에 대한 자세한 내용은 다음의 web-site를 참조하기 바 란다. http://www.csm.ornl.gov/torc/C3/
6.2 disable-services
패키지는 에 대해 다음의
disable-services OSCAR client
를 시킨다
service disable .
각 패키지별 설치관련 주의사항 39 대몬들을 incoming mail service: sendmail, exim, postfix
•
cron.hourly queue mail .
매 부팅시마다 는 새로운 하드웨어를 검
Kudzu: , Kudzu service
•
색하는데 많은 시간을 소비한다 개개의 노드의 부팅시간을 단축. 하고자 이것을 disable 시킨다.
는 모든 에 대해 주기
slocate: slocate service local file system
•
적으로( Distribution에 따라 매일 혹은 매주, ) top-level의 find 명령어를 실행하여 모든 file name을 인덱싱 한다 이것은. locate 명령어를 사용한 빠른 lookup을 가능하게 하지만, top-level의
명령어는 상당한 를 소모하므로 시
find system resource , disable 킨다.
명령어는 에 의해 실행되며
makewhatis: makewhatis crontab ,
•
에 따라 매일 혹은 매주 매뉴얼 페이지 인덱스 Linux Distribution ,
를 갱신한다. slocate와 마찬가지로 이 명령어도 상당한 system
를 소모하므로 시킨다
resource , disable .
위의 서비스들은 uninstall 시킨 것이 아니라 단지, disable 시켰음 을 주의하기 바란다 관리자는 언제든 위의 서비스를. enable시킬 수 있다.
6.3 HDF5
는 과 지원 로 이루어진
HDF5 data format specification library
이다 는
Hieracrchical Data Format product . HDF5 scientific data 에 널리 이용될 수 있는 다음의 특징을 갖는다
format .
r
• eserch, development 그리고 production 환경에서 크고, 변형된(varied) data들을 조작 하기위해 다양한, datatype과 속성(attribute)을 사 용하여 user-defined hierarchical
를 지원한다 grouping structure .
를 사용하는 에서 실행된다
MPI I/O parallel computing platform .
•
을 포함하여 모든
compound, user-defined datatype ,
•
을 지원한다 encompassing datatype .
매우 큰 파일 한계치를 테스트해보지는 않았지만 이론적으로( , 1 web-site http://hdf.ncsa.uiuc.edu/HDF5/doc/ 에서 찾을 수 있다.
는 를
OSCAR HDF5 library /opt/hdf5-oscar-1.4.4-post2/doc/hdf5/lib/
에 설치하며, 현재의 OSCAR 버전에는 serial operation을 위한
만이 들어 있다 을 위한
library . parallel operation
는 추후 버전에 추가될 예정이다
library OSCAR .
를 로 컴파일하여 할 때에는 다음의 두
HDF5 parallel mode install 가지 주의해야 할 사항이 있다.
컴파일러에는 에 영향을 주는 버그가 있다 제
gcc-2.96 HDF5 .
•
대로 동작하게 하기 위해 서는, HDF5와 MPI 모두 2.96이 아닌
로 컴파일해야 한다 은 이를 위해 버전의
gcc . HDF5 group 2.95.3
를 추천한다
gcc .
이상의 리눅스에서 와 함께 를
kernel 2.4 MPI HDF5 parallel
•
각 패키지별 설치관련 주의사항 41
로 컴파일할때 반드시 이상의 파일크기를 지원하도
mode , 2GB
록 설정해야 한다. 다음은 MPICH의 install시 configuration 으로 이를 준 예 이다
command-line option .
-cflags="-D_LAGEFILE_SOURCE -D_LAGEFILE64_SOURCE \ -D_FILE_OFFSET_BITS=64"
6.4 kernel_picker
는 에 로 설치된 대신 다
kernel_picker OSCAR image default kernel
른 kernel을 사용하고자 할 때, 쓸 수 있는 Perl script이다. 의
OSCAR installation Wizard Select packages to install"(step
와 의 과정 중
1) "Configure selected OSCAR Packages"(step 2)
간에 다른 콘솔을 열고 kernel_picker command-line 명령어를 사 용할 수 있다. 아무런 옵션 없이 이 명령어를 사용하면
에서 동작하며 사용할 이름부터 의
interactive mode , image , kernel 전체 경로 등을 차례대로 입력하면 된다. kernel_picker 프로그램 은 모든 OSCAR image의 위치가 /var/lib/systemimager/images내 에 있다고 가정하며, default OSCAR image의 이름은 oscarimage 이다.
는 디렉토리에 설치된다
kernel_picker /opt/kernel_picker/bin .
와 등의 문서
HTML, Postscript, PDF, plain text manpage format 가 제공된다. manpage를 보려면 다음을 참조하기 바란다.
6.5 loghost
는 각 계산노드의 가 서버의 에 저장되도록
loghost syslog log file
각 노드의 /etc/syslog.conf와 서버노드의 /etc/sysconfig/syslog를 편집하고 syslogd와 klogd daemon를 다시 시작한다.
$ man /opt/kernel_picker/man/man1/kernel_picker.1
6.6 networking
는 서버를 로 동작
Network package OSCAR caching nameserver 하도록 설치된다.
에서 을 확인할 수 있다
/etc/name.conf configuration .
6.7 ntpconfig
기본적으로 ntpd 대몬은 run level 2 ∼ 5에서 부팅시 시작하도록 설정된다 어떤 이유에서건. uninstall 없이 NTP를 disable 시키려 면 다음의 명령어를 실행한다, .
위의 명령어는 단지 현재에 실행중인 ntpd daemon을 stop시키는 역할만하며 부팅시에, NTP의 시작을 막기 위해서는 다음의 명령 어를 실행한다.
의 명령어와 부팅시의 을 위한 명령어는 아
NTP restart start-up
래와 같다.
에 대한 자세한 정보는
NTP http://www.ntp.org/ 에 있는
을 참조하기 바란다 Documentation .
참고사항 위에서 세팅한 서버에 제대로 접속할 수 있는지
( ) NTP
는 다음의 명령어를 이용하여 확인 할 수 있다.
# /sbin/service ntpd stop
# /sbin/chkconfig --level 2345 ntpd off
# /sbin/service ntpd start
# /sbin/chkconfig --level 2345 ntpd on
# ntpq -p
각 패키지별 설치관련 주의사항 43 6.8 ODA
는 개발의 일부로서 만든
ODA(OSCAR Database) OSCAR
로서 을 사용하는 로 작성되어 있으며
package Mysql Perl script ,
를 위한 를 제공한다 는
OSCAR cluster database . oda package
와 에서 사용하는 에 사
OSCAR cluster OSCAR software package 용되는 다양한 정보를 저장하거나 retrieve하는 데 사용된다 자세. 한 내용은 다음의 매뉴얼을 참조하기 바란다.
6.9 OPIUM & SSH
은 OPIUM(OSCAR Password Installer and User Management) 사용자(user)와 암호(password)를 관리하며 사용자 계정 파일을,
OPIUM package SSH key setup . SSH 의 user key를 generate 하는 start-up 스크립트
/etc/profile.d OSCAR 2.2.1
존재하지 않으므로, user는 반드시 head 노드 지금의 설치환경에( 서의 서버 노드 에 로그인을 한 번 이상은 해야 한다) . SSH1 과
모두를 지원한다 SSH2 protocol .
참고사항 는 기본적으로 내에서 과
( ) OSCAR cluster telnet rsh, ftp 및 기존의 legacy networking을 사용하지 않는다 대신 보다 안전.
$ man /usr/share/man/man1/oda.1.gz
한 ssh, scp, 그리고 sftp를 사용하며 위에서 보여진 바와 같이, 모든 사용자를 위한 authentication 및 key management를 자동으 로 처리한다.
6.10 PBS & Maui Scheduler
는 버전의 를 와
OSCAR open source PBS, OpenPBS job launcher
로 사용한다 상업용 의
batch queueing system . version(PBSPro)
도 존재한다 는 기본적인 를 사용하
PBS . OpenPBS FIFO scheduler
나, OSCAR에서는 보다 견고한 open source scheduler인 Maui를 대신 사용한다. OSCAR 2.2.1에서는 OpenPBS version 2.3p16과
을 사용한다 는 추후 버전에서 계속
Maui 3.0.7p8 . Maui OSCAR
될 것이다 기본적인 의 기능은
update . PBS OSCAR test suite(
에서 테스트되며 또한 의
“Test Cluster Setup"(step 8)) , OSCAR 다른 소프트웨어를 테스트할 때도, job를 launch시키는 역할을
(OSCAR sample PBS script, User Manual)
해야 할 것이다. 일단 step 8에서 PBS의 테스트를 실행하면
에서 를 볼 수 있을 것이다
/home/oscartst sample PBS script .
설정 PBS
•
기본적으로 PBS는 queue나 cluster-specific한 parameter에 대한 설정 없이 설치된다. OSCAR는 PBS를 SIS의 database에 있는 정 보를 토대로 PBS를 세팅한다. “Complete Cluster Setup"(step 7) 의 과정이 OSCAR Wizard에서 실행되면, PBS 패키지내의
각 패키지별 설치관련 주의사항 45 은 PBS의 parameter를 설정한다 그러나 만일 이 경우에도 모든.
를 의 값으로 사용하고자 한다면
parameter OSCAR default ,
스크립트를 옵션과 함께
post_install "--default" command 내에서 실행시키면 된다
prompt .
은 와 를 설정하는 데 사용할 수
qmgr queue PBS server parameter
있으며, OSCAR PBS의 post_install 스크립트역시 이것을 사용하 고 있다. man page를 이용할 수도 있으나, PBS의 admin guide를 읽는 것이 이것을 익히는 가장 빠른 방법이다 이. Open PBS의
는 의 홈페이지에서 계정을 등록한 후 사용
admin guide OpenPBS
인증을 받으면 다운로드 할 수 있다.
qsub job submit ,
정한 nodes를 이 resources를 이용하여 지정할 수 있다. 각
에 대한 는 의 경우
node “property" OSCAR , /var/spool/pbs/server_priv/nodes 파일에서 지정할 수 있으며 그 내용을 변경했을 경우에는 반드시,
를 시켜야 변경 내용이 적용된다 이것은 또한
PBS server restart .
명령어를 사용하여 할 수도 있다
qmgr .
FAQueue
•
에 대한 가장 일반적인 오해는 그것이 특정한 의
PBS queue , nodes
그룹과 결합되어 있다고 생각하는 것이다. 이것은 (node의 를 사용하고 있는 를 만들었을 때를 제외하고는
property queue )
일반적으로 사실이 아니다 만일. 4개의 node를 사용하는 queue가 정의되어 있다면 이것은, cluster내의 어떤 특정한 node와도 결합 되어 있지 않다. job을 submit할 때 주의할 또 다른 점은 cluster 의 nodes, ppn(procs per node), walltime등에 대한 (max, min) 값 안에 들어가는 범위 내에서 job이 실행되도록 PBS job script 를 작성하는 것이다.
만일 특정한 node를 사용하고자 한다면 사용하고자 하는 node에 대한 resource attribute, 즉 property를 job script내에 명시해 주 어야 한다.
만일 PBS server에 대한 모든 설정 정보를 보고자 한다면 다음의 명령어를 사용하면 된다.
는 새로운 와 그 를 정의하는 데
qmgr interface queue parameter
사용할 수 있다. 또한 OSCAR에서 설치한 default queue인
의 도 변경할 수 있다 예를 들면 의 설
"workq" parameter . , workq 정 정보를 보고자 한다면 다음의 명령어를 실행하면 된다, .
출력된 값들 중에서 특정한 값을 변경하고자 한다면 다음을 사용, 하면 된다.
여기에서 PARAMETER는 위의 "list queue workq" 명령어에 의 해 출력된 parameter중 하나이며, VALUE는 그 parameter에 주고 자 하는 적절한 값이다. "print server"와 "list queue" 명령어를 통해 변경 내용을 확인할 수 있다.
만일 post_install 명령어를 "--default" 옵션과 함께 사용한다면, 관리자가 변경시킨 내용을 읽어 버리게 된다. 또한 OSCAR의
의 은 이므로 적절한 값으로
default wallclock limit 10,000 hours , 변경시켜야 한다.
# qmgr -c "print server"
# qmgr -c "list queue workq"
# qmgr -c "set queue workq PARAMETER = VALUE "
각 패키지별 설치관련 주의사항 47 아래는 PBS와 관련된 사이트들이다.
OpenPBS: http://www.openpbs.org/
PBSPro: http://www.pbspro.com/
Maui Scheduler: http://www.supercluster.org/
6.11 pfilter
는 로 작성된 이며
pfilter perl firewall compiler(/usr/sbin/pfilter) ,
의 기능을 컨트롤하는데 사용된다
Linux kernel packet filtering . 는 시스템 관리자가 복잡한 세팅을 직접 하지 않고
Linux kernel packet filtering . 는 시스템 관리자가 복잡한 세팅을 직접 하지 않고