목 차
목 차
목 차
목 차
개요
0.
··· 1
서버 설정
1. NFS
··· 4
설정
2. DHCP
··· 6
설정
3. tftp
··· 8
설정
4. kickstart
··· 8
개별 설치
5.
··· 23
커널 패치
6.
for lustre ··· 23
드라이버 설치
7. IB
··· 24
소스 설치
8. lustre
··· 31
서버 설정
9. lustre
··· 33
설치하기
10. lustre monitoring tool
··· 36
성능측정
11.
··· 39
파일 시스템 파일 시스템파일 시스템 파일 시스템 (1) Lustre (1) Lustre (1) Lustre (1) Lustre 일반적으로 병렬 애플리케이션은 다수의 노드에서 여러개의 프로세스가 병렬 로 파일을 액세스 한다 또한 병렬 파일 시스템은 병렬 애플리케이션의 데이터와. 메타데이터에 대한 효율적인 액세스가 가능하도록 구성되어 있다 대표적인 병렬. 파일 시스템으로는 Lustre, GFS, GPFS, PVFS 등이 존재하며 이중, Lustre는 블 록기반이 아닌 객체를 기반으로 한 병렬 파일 시스템이다. 는 그림 과 같이 범용 하드웨어에서 운영되며 스토리지를 위한 Lustre < 1> ,
객체기반의 디스크 서버(Object Storage Server:OSS)와 파일 시스템 메타데이터
를 위한 메타데이터 서버(Meta Data Server:MDS)로 구성된다 이러한 설계로 계.
산 자원과 저장 자원 사이에서 더욱 효과적인 역할 분담이 이루어질 수 있다 또. 한 장애 시 복구 가능, (Fil-over)한 이중화된 메타 데이터 서버는 상위 레벨 파일 의 트랜잭션 기록과 파일 시스템의 수정을 담당한다 분산된. OST(Object storage 은 실제 파일 시스템 와 스토리지 장치와의 인터페이스를 담당하고 잇 Target) I/O 다. Lustre는 병렬 파일 액세스 측면에서 파일 시스템의 일관성을 유지하기 위한 강력한 파일과 메타데이터 locking 구성을 지원한다 파일. locking은 저장된 객체
를 위한 각 OST 핸들링 lock을 가진 파일 시스템으로 구성된 OST들에 걸쳐 분
산된다.
는 클라이어트 사이의 통신을 위해 에
Lustre MDS, OST, Sandia National Lab
서 개발된 오픈소스 네트워킹 프로토콜인 포탈을 사용한다 이 프로토콜은 네트워.
크 수항계층을 사용하여 TCP/IP를 바이패스하여 네트워크 드라이버와 직접 연동
하는 경량 계층이다 지원되는 디바이스는. Infiniband, Quadrics, Myrinet, GbE등
파일을 이용하여 마운트 하기 (b) /etc/fstab nfs
설정
설정
설정
설정
2. DHCP
2. DHCP
2. DHCP
2. DHCP
개요 개요 개요 개요 (1) DHCP (1) DHCP (1) DHCP (1) DHCP 서버는 의 약자로 서버가 클라이어DHCP Dynamic Host Configuration Protocol
트에게 자동으로 임의적으로 아이피 주소와 게이트웨이 주소 그리고 네임 서버 주소를 할당해 주는 방식의 서버를 말합니다. 설정 설정 설정 설정 (2) DHCP (2) DHCP (2) DHCP (2) DHCP 설정 파일은 로 패키지 설치시 디렉토리에 자동 DHCP /etc/dhcpd.conf RPM /etc/ 으로 생성되지 않으므로 /usr/share/doc/dhcp-*/ 디렉토리에 있는 dhcpd.conf. 파일을 디렉토리로 파일로 복사하여 사용한다
sample /etc/ dhcpd.conf .
파일의 설정 구조는 서브 네트워크와 넷마스크를 지정하고 안에
dhcpd.conf {}
자동으로 할당하고자 하는 아이피 주소 범위를 설정한 후 여러 dhcp 옵션을 설정
를 이용하여 서버를 설정하며 를 이용 domain-name-servers DNS , subnet-mask 하여 서브 네트워크 값을 설정합니다. domain-name을 이용하여 클라이언트이 네임을 설정합니다 dns . 두 번째 subnet은 255.255.255.0 넷마스크를 가지는 10.0.0.0 네트워크 주소
가운데서 특정 그룹을 지정하였으며 각 지정된 hareware ethernet의 값을 MAC
* 하나의 머신에서 레드햇 설치시 이전 설치와 똑같이 설치하고자 하는 경우 네트워크에 있는 여러 대의 머신을 모두 똑같이 설치하고자 하는 경우 * 네트워크에 있는 여러 대의 머신을 모두 다른 설정으로 자동 설치하고자 * 하는 경우 설치 순서 설치 순서설치 순서 설치 순서 (2) Kickstart (2) Kickstart (2) Kickstart (2) Kickstart 설치는 일반적인 설치와 마찬가지로
Kickstart CD-ROM, hard drive,
등으로 설치할 수 있다 설치는 어떤 순서로 NFS, FTP or HTTP . Kickstart 하는지 알아 보도록 하자. 만들기 1. Kickstart file (ks.cfg) 리눅스 자동 설치 트리 생성 2. 을 담은 부트 디스크를 생성 또는 네트워크 설치 지원 환 3. Kickstart file 경 설정 설치 시작 4. Kickstart 만들기 만들기 만들기 만들기 (3) Kickstart file (3) Kickstart file (3) Kickstart file (3) Kickstart file 파일은 리눅스 설치 과정에서 필요로 하는 정보를 담아 놓은 Kickstart 간단한 텍스트 파일이다 샘플 파일은. Documentation CD의 RH-Docs 디렉
토리에 sample.ks 파일이 있으며, Kickstart Configurator를 사용하여
파일을 생성할수 도 있다 또한 파일을 이
kickstart . /root/anaconda-ks.cfg
용하는 방법도 있다 다음은 테스트를 위해서. /root/anacoda-ks.cfg를 복사하
은 섹션 섹션 와 섹션으로
kickstart file Command , %packages , %pre %post
구성되어 있으며 이들 순서는 절대로 바뀌어서는 안된다. ￭ Command 섹션 : 여러 옵션으로 구성되며 필수옵션과 선택옵션으로 구분된다. 섹션 설치할 패키지를 선택하는 섹션이다 패키지 그룹 또는 패 %packages : . ￭ 키지를 입력한다. 와 섹션 설치전 또는 설치후 수행해야할 명령을 입력하며 빈 %pre %post : ￭ 공백으로 두어도 된다. 섹션에서 선택 옵션은 생략이 가능하지만 필수 옵션을 생략했을 경 Command 우 설치 프로그램은 해당 항목의 설치과정에서 설치 진행을 잠시 멈추고 사용자 의 올바른 입력을 기다린다 입력이 완료되면. 설치를 계속 진행한다. 옵션 옵션옵션 옵션 Kickstart KickstartKickstart Kickstart ※ ※ ※ ※ 위의 예제에서 사용된 옵션을 중심으로 설명하겠다 이 파일에서 사용된 옵션이. 전부는 아니며 세부적인 옵션은 Customization Guide 를 참고하기 바란다. 설정파일의 내용을 이해하는게 어렵다면 GUI 환경의 [Kickstart 을 이용하여 을 생성할 수 있다
Configuration] application kickstart file .
install
새로운 시스템을 설치하기 위한 옵션이며, 기본선택이다. 설치를 위해서는
또는 중에서 하나를 선택해야만 한다
cdrom, harddrive, nfs url .
예 : harddrive --partition=hdb2 --dir=/tmp/install-tree nfs --server=150.183.X.X --dir=/home/nfs/install-tree url --url ftp://sjkim:[email protected]/install-tree
lang
rootpw 시스템에서 사용할 root 패스워드를 주어진 값으로 설정한다. --iscrypted 이 옵션이 사용되면 패스워드 인자는 암호화된 값으로 취급된다. --disabled firewall 보안레벨을 설정하는 옵션이다. 예 firewall --medium --ssh 보안레벨을 medium으로 하고 ssh 서비스는 허용한다.
firewall --medium --thrust eth1
보안레벨을 medium으로 하고 eth1으로 들어오는 모든 서비스는 허용한다. authconfig 시스템의 인증 방법에 관한 설정으로 기본적으로 암호화 되며, shadow시스 템을 사용하지 않는다. --enableshadow 암호화 시스템 사용을 설정 shadow --enablemd5 사용자 암호를 md5 암호화 방식으로 암호화 --enablenis 인증을 위해서 NIS 서비스를 사용하도록하며 관련 옵션도 같이 설정되어 야 함. --nisdomain 서비스가 사용하는 도메인을 설정 NIS NIS --nisserver 서비스가 사용하는 서버 주소 설정 NIS
예 authconfig --enablemd5 --enableshadow --enablenis --nisdomain=ksc.re.kr --nisserver=150.183.X.X
timezone
시스템에서 사용할 시간 영역을 설정
bootloader
또는 둘중 하나의 부트로더를 설치하도록 한다 가 기본
GRUB LILO, . GRUB
부트 로더이며, lilo를 사용하기 위해서는 --useLilo 옵션을 사용한다. --location 부트 레코더가 저장될 위치를 지정한다. mbr이 기본값이며 partition은 커 널을 포함하는 파티션의 첫 번째 섹터에 부트로더가 설치되며 none은 부트로더를 설치하지 않는다. 예 bootloader --location=mbr 기본 부트로더인 grub를 mbr 영역에 설치한다. --password= 부트 로더에 암호를 설정하여 쉘에 접근하는 것을 제한할 수 있 grub grub 다 이미 암호화된 암호를 가지고 있다면. --md5pass 옵션을 사용한다.
시스템에 존재하는 모든 파티션을 삭제한다. 필수 part ( ) 파티션을 생성하고 마운트 포인트를 지정한다. 존재하는 파티션이라면 과 옵션을 사용하지 않는다면 설치과정에서 모두 포맷 --noformat --onpart 될 것이다.
예 : part / --fstype ext3 --size=2048
크기의 파티션을 생성한고 파일시스템으로 포맷한 후 로 마
2048MB , ext3 /
운트한다.
예 : part /home --fstype ext3 --size=1024 --grow
최소 1024MB, 여유공간이 남아있다면 최대크기로 파티션을 생성한 후 ext3 로 포맷한고 /home 으로 마운트 한다. --grow 여유공간 전체를 파티션의 영역으로 설정한다. --maxsize= 파티션이 가질 수 있는 최대크기를 지정한다. --ondisk= 디스크가 여려개 있을 경우 파티션을 생성할 디스크를 지정할 수 있다 예를. 들어, --ondisk=hdb 는 두번째 하드디스크에 파티션을 생성한다.
예 : part swap --recommended
파티션은 레드햇이 권장하는 크기로 설정한다 레드햇은 메모리의 배
swap . 2
크기를 swap 영역으로 권장한다.
예 : part / --fstype ext3 --onpart hda1
이미 존재하는 파티션 hda1 을 / 로 마운트 시키며 파일시스템을, ext3로 포
맷한다.
예 : part /home --noformat --onpart hda2
이미 존재하는 파티션 hda2 를 /home 으로 마운트 시키며 포맷을 하지 않,
는다.
명령을 사용해 통해 설치할 패키지의 목록을 정의
%package kickstart file
한다. 패키지는 그룹별 또는 개별 패키지로 설정할 수 있으며, 레드햇 설치
의 에서 그룹의 목록을 볼 수 있다 그룹이
설정 파일 * tftp 에 부팅에 관련된 정보 /tftpboot/linux-install/pxelinux.cfg/default pxe 를 설정해주어야 한다. 에는 부팅시 사용되는 정보가 기록된다 은 부
default pxe . default install
팅시 install이 기본 수행된다는 것을 의미한다.
는 커널 이미지는 를 사용한다는
kernel vmlinuz “/tftp/linux-install/vmlinuz" 것이다.
부분은 설치시 를 사용하며 그 크기는 임을
append ks ram drive 8192byte
설치 시작 설치 시작설치 시작 설치 시작 (6) Kickstart (6) Kickstart (6) Kickstart (6) Kickstart 의 시작을 위해서 설치할 클라이언트를 재부팅하고 로 들어가서 kickstart BIOS 설치 관련 옵션을 시키고 부팅을 하면 부팅이
pxe (network booting) enable pxe
시작되고 kickstart를 이용하여 리눅스 설치가 진행되게 된다 이때. kickstart 설
정이 올바르게 되어있다면 사용자의 키보드 입력을 요구하지 않고 리눅스의 설치,
드라이버 설치
드라이버 설치
드라이버 설치
드라이버 설치
7. IB
7. IB
7. IB
7. IB
테스트베드에 설치된 Silverstom 사의 Infiniband Card의 드라이브를 설치한
처음 설치의 경우는 "I" 를 눌러 설치 옵션으로 맞춰준 후, "P" 를 눌러 ②
Installing IP over IB Driver... Copying ipoib.ko...
Assign IP over IB static IPV4 addresses now? [n]: yyyy 설명
< >
로 용 를 사용하려면 이 옵션에서 를 눌러 선택한다
ipoib IPV4 IP , "y" .
즉 일반적인, ethernet 장치 처럼 ip를 부여해서 사용하려면 이 선택에서,
를 누른다 "y" .
이 단계에서 "n" 을 선택하면 다음 단계의, IP Address 부여 옵션은 생략된 다.
You may configure an IP over IB interface for each IB port Or you may select to have IP over IB only run on some IB ports Or you may select to configure redundant IB ports with a
pair of IB ports running a single IP over IB interface
How many IP over IB interfaces would you like to configure? [1]: 1111 설명
< >
인터페이스 갯수 질문 카드가 장이면 을 선택한다 기본값은
ipoib . 1 , "1" .
"1".
Preparing to create IP over IB ifcfg files in
/etc/sysconfig/network-script s
Assign interface names sequentially starting with ib1? [y]: yyyy 설명
< >
Enter IP over IB interface name: ib1ib1ib1ib1 설명
< >
인터페이스명 입력 여기에 혹은 다른 장치 번호를 입력함
ipoib . "ib0" .
Enter IPV4 address in dot notation for ib1: 10.0.0.1110.0.0.1110.0.0.1110.0.0.11 설명
< >
장치에 용 주소를 입력 일반적인 를 입력한다
ib0 IPV4 IP . IP Address .
클래스 모두 가능
A, B, C .
Enter IPV4 netmask in dot notation for ib0 10.0.0.201 [255.0.0.0]: 255.255.255.0 255.255.255.0 255.255.255.0 255.255.255.0 설명 < > 서브넷마스크 입력.
Enable IB Network Stack (iba) to autostart? [y]: yyyy Enable IB Port Monitor (iba_mon) to autostart? [y]: yyyy Enable Virtual HBA (SRP) (ics_srp) to autostart? [y]: yyyy Enable Virtual NIC (ics_inic) to autostart? [y]: yyyy
Enable IP over IB (ipoib) to autostart? [y]: yyyy Enable uDAPL (udapl) to autostart? [y]: yyyy Enable SDP (ics_sdp) to autostart? [y]: yyyy Enable RDS (rds) to autostart? [y]: yyyy
설명 < >
모듈 자동 시작옵션 모두. "y" 선택 기본값은. "y" 이므로 모두 그냥 엔터, Updating HCA Firmware ...
Select HCAs to Update:
1) HCA 1 (23108 Rev a1 psid "" Node GUID: 0x00066a0098005c18) Selection (a for all, n for none) [a]: 1111
Updating firmware on HCA 1 (Rev A1 Node GUID: 0x00066a0098005c18)
Found 1 firmware file(s): InfiniServCC.A1.bin
Do you want to change HCA mode? [n]: yyyy 설명 < > 업데이트 하려는 카드의 Revision 이 A1 이므로 펌웨어 중에서 자동으로, 용 파일을 찾아준다 다른 파일로 변경할 것인지에 대한 질문 A1 . . 을 선택하여 변경하지 않고 선택된 파일을 유지한다 "n" , . 1) /etc/sysconfig/iba/mt23108/InfiniServCC.A1.bin
Rev: A1 Type: Fail Safe Version: 3.03.0003rc16b psid: "MT_0030000001"
Cougar Cub dual port SDR PCI-X green and yellow LED low profile cards
PN: 900440-100-1, 900440-101-1, 900440-102-1,
900400-103-1, 900440-300-1, 900440-301-1, MHXL-CF128T/S, MHXL-CF256T/S, MHXL-CF512T/S Examining ..
File : InfiniServCC.A1.bin
Rev: A1 Type: Fail Safe Version: 3.03.0003rc16b psid: "MT_0030000001"
Device : HCA 1
Rev: A1 Type: Fail Safe Version: 3.00.0002rc01 psid: "" Firmware on HCA 1 is out of date, performing update
HCA Rev : A1
After completing your installation and configuration changes, You must reboot to activate the new firmware
설명 < >
펌웨어 설치 진행 새로운 펌웨어를 업그레이드 후엔 반드시 재부팅을 해준.
다 이 단계 후 설치가 정상적으로 끝난다. , .
File : InfiniServCC.A1.bin
Rev: A1 Type: Fail Safe Version: 3.03.0003rc16b psid: "MT_0030000001"
Device : HCA 1
Rev: A1 Type: Fail Safe Version: 3.03.0003rc16b psid: "MT_0030000001"
Firmware on HCA 1 is up to date
소스 다운로드 소스 다운로드 소스 다운로드 소스 다운로드 (1) (1)(1) (1) 에서 버전의 을 다운로드 받는다
www.lustre.org lustre 1.4.8 source rpm .
파일 생성하기 파일 생성하기파일 생성하기 파일 생성하기 (2) config (2) config(2) config (2) config 명령어를 이용하여 설정 파일 문서 을 생성한다 설정파일은 lmc lustre (xml ) . 위의 예제에서 /etc/lustre/local.xml 로 생성된다. 파일 배포하기 파일 배포하기파일 배포하기 파일 배포하기 (3) config (3) config(3) config (3) config
생성된 local.xml 파일을 lustre 서버(MDS, OSS)와 클라이언트들의
디렉토리에 에 배포한다 /etc/lustre . 파일을 이용한 구동 파일을 이용한파일을 이용한 구동구동 파일을 이용한 구동 (4) config lustre
(4) config(4) config lustrelustre
(4) config lustre
명령어를 이용하여 의 순서로 서비스를 구동한다
lconf OSS->MDS-> Client .
위의 명령어는 설정 파일을 참조하여 해당 파일시스템을 OSS와 연계 시키며
이 과정에서 해당 파일시스템을 format하므로 기존 데이터는 모두 삭제되며,
소요 시간도 오래 걸린다. MDS(node01)
서비스 종료 서비스 종료 서비스 종료 서비스 종료 (5) lustre (5) lustre(5) lustre (5) lustre 종료는 구동과 반대의 순서로 진행되어야 한다. (client -> mds -> oss)
설치하기
설치하기
설치하기
설치하기
10. lustre monitoring tool
10. lustre monitoring tool
10. lustre monitoring tool
10. lustre monitoring tool
은 에서 시스템을 관리하기 위해서
lmt(lustre monitoring tool) LLNL lustre
개발하였으며 python을 이용하여 개발하였으며, http://sourceforge.net 에서 다운로드 받을 수 있다 는 라이브러리 패 /projects/lmt/ . lmt wxPython 키지를 필요로 하며 http://sourceforge.net/projects/wxpython/에서 다운로 드 받을 수 있다. lmt는 클라이언트 모니터링을 지원하지 않으며, 서버 에 대한 모니터링만을 지원함으로 모든 노드에 설치힐 필요는 없 (MDS,OSS)
는 두 개의 데몬으로 구성된다 서버들의 정보를 수집하는 와 들
lmt . lmtd lmtd
에게서 정보를 얻어오는 lmtcollect로 구성된다 그리고. lmtcollect가 수집한 정보를 GUI로 표현하는 xwatch-lustre가 있다. lmtd 와 lmtcollect는
를 이용하여 환경을 설정하며 는
lmt.conf xwatch-lustre xwatch-lustre.conf
는 를 보여주는 와 연계를 위해서 시
lmtcollect GUI xwatch-lustre frontend
스템인 fs01에 설치하며 다음과 같이 구동한다.
위와 같이 lmtd, lmtcollect 데몬을 구동시키면 해당 노드의 /etc/lustre/
를 참조하여 서버의 정보를 모니터링하기 시작하며 이를
lmt.conf lustre GUI
화면으로 보기 위해서는 fs01노드에서 "xwatch-lustre"를 구동한다 다음은. 의 구동화면이다
xwatch-lustre .
IOR ①
은 에서 개발된 파일시스템 대역폭 측정을 위한 테스트 코드이다
IOR LLNL .
이것은 IBM이 납품한 ASCI Blue와 White 시스템의 GPFS 파일시스템의 테스트
를 위해서 개발되었다. IOR은 다양한 인터페이스와 접근 패턴을 사용해서 병렬
파일시스템의 대역폭 성능 테스트를 위해서 처음 설계되었다. IOR은 “shared
또는 방식의 테스트를 지원한다
file” “file per process” .
(A) (B) (C)
* (A) File Per Process I/O Model
(B) Segmented Access Pattern : Shared File I/O Model (C) Stried Access Pattern : Shared File I/O Model
4 n o d e 2 t a s k 4 n o d e 2 t a s k4 n o d e 2 t a s k 4 n o d e 2 t a s k 0 5 1 0 1 5 2 0 2 5 3 0 3 5 4 0
FP P S egmented S trided FP P S egmented S trided
W rite R ead (M B /s ) M P I-IO P O S IX * FPP: IOR -a MPIIO -d 1 -w -r -b 1m -t 1m -i 10 -F * Segmented : IOR -a MPIIO -d 1 -w -r -b 1m -t 1m -i 10 * Strided : IOR -a MPIIO -d 1 -w -r -b 1m -t 1m -i 10 -s 2 -v
S i n g l e 0 .0 5 0 0 .0 1 ,0 0 0 .0 1 ,5 0 0 .0 2 ,0 0 0 .0 2 ,5 0 0 .0 3 ,0 0 0 .0 3 ,5 0 0 .0 4 ,0 0 0 .0 C r e a t e s t a t r e m o v e C r e a t e s t a t r e m o v e D i r e c t o r y F i l e o p s /s e c 2 n o d e 1 t a s k 4 n o d e 1 t a s k 2 n o d e 2 t a s k 4 n o d e 4 t a s k S h a r e d 0 .0 5 0 0 .0 1 ,0 0 0 .0 1 ,5 0 0 .0 2 ,0 0 0 .0 2 ,5 0 0 .0 3 ,0 0 0 .0 3 ,5 0 0 .0 4 ,0 0 0 .0 C r e a t e s t a t r e m o v e C r e a t e s t a t r e m o v e D i r e c t o r y F i l e o p s /s e c 2 n o d e 1 t a s k 4 n o d e 1 t a s k 2 n o d e 2 t a s k 4 n o d e 4 t a s k
