고성능컴퓨터 시스템 구조

(1)

이 자료는 김종현저-컴퓨터구조론(생능출판사)의 내용을 편집한 것입니다.

 병렬처리의 개념 및 필요성

 병렬처리 단위 및 분류

 다중프로세서 시스템 구조



공유-기억장치 시스템 구조



분산-기억장치 시스템 구조

 클러스터 컴퓨터

고성능컴퓨터 시스템 구조

IT 융합공학부 컴퓨터구조

1

(2)

2

8.1 병렬처리의 개념과 필요성



병렬처리(parallel processing)



다수의 프로세서들이 여러 개의 프로그램들 혹은 한 프로그램의 분 할된 부분들을 분담하여 동시에 처리하는 기술



병렬처리를 위한 선결 조건



많은 수의 프로세서들로 하나의 시스템을 구성할 수 있도록 작고 저 렴하며 고속인 프로세서들의 사용이 가능해야 함

 반도체 기술의 발전과 VLSI 집적도 향상으로 가능해짐



한 프로그램을 여러 개의 작은 부분들로 분할하는 것이 가능해야 하 며, 분할된 부분들을 병렬로 처리한 결과가 전체 프로그램을 순차적 으로 처리한 경우와 동일한 결과를 얻을 수 있어야 함

(3)

3

병렬처리의 개념과 필요성 (계속)



야기되는 새로운 문제들



문제 분할(problem partition) : 병렬처리를 위하여 문제(혹은 프로그 램)를 여러 개로 나누는 것



프로세서간 통신(interprocessor communication) : 분할된 부분을 나누어 처리하는 프로세서간의 데이터 교환을 위해 메카니즘 필요



필요한 관련 기술들



병렬 프로그램 언어와 컴파일러의 개발



상호 배타 메커니즘(mutual exclusion mechanism) 지원



공유자원들에 대한 경합(contention)을 줄이고 이용률을 극대화할 수 있는 운영체제의 개발

³

(4)

4

8.2 병렬처리의 단위



작업-단위 병렬성(Job-level parallelism) : 독립적인 작업 프 로그램(job program) 단위로 병렬처리

[예] 성적관리 프로그램 // 실험 데이터 처리 프로그램



태스크-단위 병렬성(task-level parallelism) : 하나의 큰 작업 을 기능에 따라 분할한 작은 프로그램(태스크) 단위로 병렬 처리

[예] 로봇 제어 프로그램  두뇌, 팔과 다리들의 동작을 제

(5)

5

병렬처리의 단위 (계속)



스레드-단위 병렬성(thread-level parallelism): 동시에 처리될 수 있는 가장 작은 크기의 독립적인 단위 프로 그램인 스레드 단위의 병렬처리



명령어-단위 병렬성(instruction-level parallelism): 데 이터 의존성이 존재하지 않는 여러 개의 명령어들을 동시에 수행하는 병렬처리

⁵

(6)

6

8.3 병렬컴퓨터의 분류



Flynn의 분류(Flynn's classification): 구조적 특징에 따른 컴퓨터 분류 방 식



명령어 스트림(instruction stream) : 프로세서에 의해 실행되기 위하여 순서대로 나열된 명령어 코드들의 집합



데이터 스트림(data stream) : 그 명령어들을 실행하는 데 필요한 순서대로 나열 된 데이터들의 집합



프로세서들이 처리하는 명령어와 데이터의 스트림(stream; 흐름)의 수에 따라 분류

(7)

7

SISD



한번에 한 개씩의 명령어와 데이터를 순서대로 처리하 는 단일프로세서 시스템



파이프라이닝(pipelining), 슈퍼스칼라(superscalar)구 조를 이용

⁷

(8)

8

SIMD



배열 프로세서(array processor)



여러 개의 프로세싱 유니트(PU)들로 구성되고, PU들의 동작은 모두 하나의 제어 유니트에 의해 통제



모든 PU들은 하나의 명령어 스트림을 실행



데이터 스트림은 여러 개를 동시에 처리

(9)

9

MISD



N개의 프로세서들이 서로 다른 명령어들을 실행하지 만, 처리하는 데이터 스트림은 한 개  비현실적이므 로 실제 구현된 경우는 없음

⁹

(10)

10

MIMD



N 개의 프로세서들이 서로 다른 명령어들과 데이터들을 처리



프로세서들간의 상호작용 정도에 따라 두 가지로 분류



밀결합 시스템(tightly-coupled system)



공유-기억장치 구조(shared-memory architecture)



다중프로세서 시스템(multiprocessor system)



소결합 시스템(loosely-coupled system)



지역 기억장치(local memory)를 가진 독립적인 컴퓨터 모듈로 구성



프로세서간 통신은 메시지 전송(message-passing) 방식 이용



다중컴퓨터 시스템(multiple-computer system)

(11)

11

MIMD 조직의 구성도

¹¹

(12)

12

8.3.2 기억장치 액세스 모델에 따른 분류



균일 기억장치 액세스(Uniform Memory Access: UMA) 모델



불균일 기억장치 액세스(Non-uniform Memory Access: NUMA) 모델



무-원격 기억장치 액세스(No-Remote Memory Access: NORMA) 모델

(13)

13

UMA 모델



모든 프로세서들이 상호연결망에 의해 접속된 주기억장치를 공유한다



프로세서들은 주기억장치의 어느 영역이든 액세스할 수 있으며, 그에 걸리는 시간이 동일하다



장단점



장점: 하드웨어가 간단하고, 프로그래밍이 용이하다



단점: 공유 자원에 대한 경합이 높아지기 때문에 시스템 크기에 한계가 있다 [예] 공유-버스를 사용하는 시스템 : 프로세서 30개 이하

크로스바, MIN을 사용하는 시스템 : 프로세서 64개 이하

¹³

(14)

14

NUMA 모델



UMA 모델의 한계를 극복하고 더 큰 규모의 시스템을 구성하기 위한 모델



다수의 UMA 모델들이 상호연결망에 의해 접속



분산 공유-기억장치(distributed shared-memory) 구조



기억장치 액세스 시간은 기억장치의 위치에 따라 달 라짐



지역 기억장치 액세스(local memory access)



전역 기억장치 액세스(global memory access) 원격 기억장치 액세스(remote memory access)

(15)

15

NUMA 모델의 일반적인 구성도

¹⁵

(16)

16

NORMA 모델



프로세서가 원격 기억장치(remote memory)는 직접 액 세스할 수 없는 시스템 구조



프로세서들과 기억장치들은 메시지-전송(message- passing)을 지원하는 상호연결망으로 접속



분산-기억장치 시스템(distributed-memory)으로도 부 름



주요 상호연결망: 매시(mesh), 하이퍼큐브 (hypercube), 토러스(torus), 등

(17)

17

NORMA 모델의 일반적인 구성도

¹⁷

(18)

18

8.3.3 시스템 구성 방법에 따른 분류



대칭적 다중프로세서(Symmetric Multiprocessor: SMP)



대규모 병렬프로세서(Massively Parallel Processor)



캐시-일관성 NUMA(Cache-Coherent NUMA: CC- NUMA) 시스템



분산 시스템(Distributed System)



클러스터 컴퓨터(Cluster Computer)

(19)

19

SMP



64개 이하의 프로세서들을 가지는 중대형급 시스템



완전-공유 구조(shared-everything architecture) : 프로 세서들이 시스템 내의 모든 자원들을 공유



시스템 내에 하나의 OS만 존재



대칭적(symmetric):



모든 프로세서들이 필요 시 직접 OS 코드 수행



모든 프로세서들이 자원들을 동등한 권한으로 사용

¹⁹

(20)

20

SMP (계속)



SMP의 특징



능력이 비슷한 프로세서들로 구성



프로세서들이 기억장치와 I/O 장치들을 공유하며, 상호연결망에 의 해 접속



모든 프로세서들은 동등한 권한을 가지며, 같은 수준의 기능들을 수 행



프로세서간 통신은 공유 기억장치를 이용



작업 스케줄링(Job scheduling)이 하나의 OS에 의해 통합적으로 이 루어짐



공유 자원의 경합으로 인하여 시스템 크기에 한계

(21)

21

SMP (계속)

²¹

(22)

22

MPP



무공유 구조(shared-nothing)를 기반으로 하는 대규모 병렬처리시스템



수백 혹은 수천 개의 프로세싱 노드(processing node) 들로 구성



간단한 구조의 노드 프로세서 사용



마이크로-커널(micro-kernel) 수준의 노드 OS 탑재



노드들 간의 통신은 메시지 전송 방식 이용



복잡도 높은 상호연결망 이용

(23)

23

CC-NUMA



독립적인 노드들(UMA 혹은 NUMA 시스템)이 상호연 결망에 의해 접속



모든 노드들의 캐시 및 주기억장치들 사이에 데이터 일관성 유지



시스템 내의 모든 기억장치들이 전역 주소공간(global address space)을 가지는 분산 공유-기억장치시스템 (distributed shared-memory system)으로 구성



주요 장점: S/W 변경 없이 SMP보다 더 큰 시스템 구 축 가능

²³

(24)

24

CC-NUMA 시스템의 일반적인 구성도

P

(25)

25

분산시스템



독립적인 노드(컴퓨터시스템)들이 전통적인 네트워크 에 의해 접속



노드들 간의 정보 교환 혹은 병렬처리를 수행할 때만 네트워크를 이용하여 통신 : loosely-coupled system



노드: PC, workstation, SMP, MPP, 혹은 그들의 조합

²⁵

(26)

26

클러스터 컴퓨터



A collection of PCs or workstations



네트워크: 고속 LAN, 혹은 network switch



모든 시스템 자원들을 단일 시스템 이미지(SSI: Single System Image)로 통합



주요 장점



저렴한 비용으로 병렬처리시스템 구축 가능



결함 대체 용이  가용성(availability) 향상

(27)

27

8.4 다중프로세서시스템 구조

(Multiprocessor system architecture)



MIMD 조직으로서, 여러 개의 프로세서들이 비동기적 으로 프로그램을 실행하는 시스템



기억장치 모듈을 사용하는 (소유하는) 방식에 따른 분 류



공유-기억장치 시스템(shared-memory system)



분산-기억장치 시스템(distributed-memory system)

²⁷

(28)

28

8.4.1 공유-기억장치 시스템 구조



밀결합 구조로서, 주기억장치가 어느 한 프로세서에 속 해 있지 않고 모든 프로세서들에 의해 공유



상호연결 구조



버스(Bus)



공유-버스(shared-bus)



다중-버스(multiple-bus)



크로스바 스위치(Crossbar Switch)



다단계 상호연결망(Multistage Interconnection Network: MIN)

(29)

29

공유-기억장치 시스템 구조의 장단점



장점



프로세서들이 공통으로 사용하는 데이터들이 공유 기억장치에 저장되므로 별도의 프로세서간 데이터 교환 메커니즘이 필요하지 않음



프로그램 실행시간 동안에 각 프로세서들이 처리할 작업들을 동적으로 균등 하게 할당할 수 있으므로 프로세서 이용률을 극대화할 수 있어서 시스템 효 율을 높일 수 있음



단점



프로세서들과 기억장치들 간의 통로(버스 또는 상호연결망)상에 통신량이 많 아지기 때문에 경합으로 인한 지연 시간이 길어질 수 있음



두 개 이상의 프로세서들이 공유자원(기억장치 모듈 또는 입출력장치)을 동 시에 사용하려는 경우에 한 개 이외의 프로세서들은 대기해야 함

 프로세서 수가 증가해도 선형적 성능 향상 불가능 (고속 상호연결망과 캐시 기억장치의 사용으로 보완)

²⁹

(30)

30

공유-버스 구조



하드웨어가 매우 간단



버스 경합으로 인한 지연 시간 증가

 버스의 전송 속도를 높이거나 캐시를 사용하여 성능 저하를 보완

(31)

31

다중-버스 구조



버스 경합을 줄이기 위하여 버스의 수를 증가



계층버스 구조(hierarchical bus structure) : 용도가 다른 여러 계 층의 버스들을 사용

³¹

(32)

32

크로스바 스위치(crossbar switch)



프로세서들과 기억장치들 사이의 완전 연결성(full connectivity)



비용이 많이 들고 하드웨어가 복잡

(33)

33

다단계 상호연결망(Multistage Interconnection Network: MIN)



크로스바 스위치와 버스 중간 정도의 하드웨어 복잡성 을 가진 상호연결망

[예] 오메가 네트워크(Omega network)

³³

(34)

34

오메가 네트워크



입력단과 출력단이 각각 N 개인 경우



필요한 단계(stage)의 수 : s = log

₂ N



각 단계의 스위칭 소자(switching element)들의 수 : m = N/2



스위칭 소자의 접속 방식(connection mode)



직진(straight) : 같은 위치의 입출력 단자들이 서로 접속



교차(swap) : 서로 다른 위치의 입출력 단자들이 접속



하위 방송(lower broadcast) : 하단의 입력 단자가 모든 출력단자들로 접속



상위 방송(upper broadcast) : 상단의 입력 단자가 모든 출력단자들로 접 속

(35)

35

8.4.2 분산-기억장치 시스템 구조



소결합 구조(loosely-coupled structure)



각 프로세서가 자신의 지역 기억장치(local memory) 를 소유



다른 프로세서들과의 통신은 메시지 전송 (message-passing) 이용

[장점] 공유자원에 대한 경합 감소

[단점] 통신 프로토콜에 의한 지연 시간 증가



네트워크 지름(network diameter) : 네트워크 내에서 가장 멀리 떨어져 있는 노드들 간의 거리(즉, 링크의 수)

³⁵

(36)

36

1) 선형 배열(linear array) 구조



네트워크 지름이 N-1로서, 다른 구조들에 비하여 가장 길다



버스 구조 보다 동시성이 더 높다



통신 시간이 노드들 간의 거리에 따라 서로 다르며, 노 드의 수가 많아지면(N이 커지면) 통신 시간이 매우 길 어진다

(37)

37

2) 링(ring) 구조



네트워크 지름



각 링크가 양방향성(bi-directional)이면  N/2 



단방향성(uni-directional)이면 N-1



변형 구조: 코달 원형(chordal ring)



링크의 수가 증가될수록 네트워크 지름은 감소



d(degree) : 각 노드가 가지는 링크의 수

³⁷

(38)

38

링 구조와 코달 원형 구조

(39)

39

3) 트리(tree) 구조



층(level)의 수를 k라고 할 때 N = (2

^k

- 1)개의 노드들 접 속



네트워크 지름 = 2(k - 1)



시스템 요소들의 수가 증가함에 따라 성능이 선형적으 로 향상

³⁹

(40)

40

팻 트리(fat tree) 구조



상위 층으로 올라갈수록 노드간의 통신 채널 수 증가



트리 구조에서 상위 층으로 올라갈수록 통신량이 많 아져서 채널이 병목이 되는 문제점을 해결



Thinking Machine 사의 CM-5시스템에서 실제 사용

(41)

41

4) 매시 구조(mesh network)



Illiac IV, MPP, DAP, CM-2 및 Intel Paragon에서 사용

⁴¹

(42)

42

토러스 네트워크(torus network)



원형 구조와 매쉬 구조가 혼합된 구조로 확장이 용이

 n × n 토러스의 경우에 네트워크 지름은 2 n / 2 

(43)

43

5) 하이퍼큐브 네트워크(hypercube network)



상호연결 함수(interconnection function)

C

_i

(b

_m-1

b

_m-2

... b

_i+1

b

_i

b

_i-1

... b

₁

b

₀

) = b

_m-1

... b

_i

’ ... b

₀

단, m = log

₂

N, N: 전체 노드 수, 0 ≤ i 〈 m

C ₀ (b ₂ b ₁ b ₀ ) = b ₂ b ₁ b ₀ ’

C ₁ (b ₂ b ₁ b ₀ ) = b ₂ b ₁ ’ b ₀

C ₂ (b ₂ b ₁ b ₀ ) = b ₂ ’ b ₁ b ₀

⁴³

(44)

44

하이퍼큐브에서의 자동 경로설정(self-routing) 방법



E-큐브 라우팅(E-cube routing)

①

두 노드의 번호를 나타내는2진수 비트들 간에 exclusive-OR 연산을 수행하여 방향 단어(direction word)를 구한다

②

방향 단어의 LSB부터 검사하여, 비트값이 1이면 x 방향으로 이동(move)하고, 0이면 이동하지 않는다

③

MSB까지의 모든 비트들에 대하여 ②번을 차례대로 반복하면 서, 대응되는 차원의 방향으로 이동할 지를 결정한다

(45)

45

[예] 6번 노드  13번 노드로 패킷 전송



방향 단어: 0110

^XOR

1011 = 1011

 b ₀

= 1 ⇒ x 방향으로 이동

 b ₁

= 1 ⇒ y 방향으로 이동

 b ₂ = 0 ⇒ z 방향으로의 이동은 없음

 b ₃ = 1 ⇒ 4차원 방향으로 이동

⁴⁵

(46)

46

8.5 클러스터 컴퓨터



개념: 네트워크에 접속된 다수의 컴퓨터들(PC, 워크스테이션, 혹은 다중프로 세서시스템)을 통합하여 하나의 거대한 병렬 컴퓨팅 환경을 구축하는 기술



개발 동기



대부분 컴퓨터들에서 프로세서들이 연산을 수행하지 않는 유휴 사이클(idle cycle)들이 상당히 많 다.



고속의 네트워크가 개발됨으로써 컴퓨터들 간의 통신 시간이 현저히 줄어들게 되었다.



컴퓨터의 주요 부품들(프로세서, 기억장치, 등)의 고속화 및 고집적화로 인하여 PC 및 워크스테 이션들의 성능이 크게 높아졌다.



슈퍼컴퓨터 및 고성능 서버의 가격이 여전히 매우 높다.

(47)

47

8.5.1 클러스터 컴퓨터의 기본 구조



핵심 개념: 다수의 독립적인 컴퓨터들을 상호 연결하 여 구성되지만, 사용자에게는 하나의 시스템으로 보이 도록 해야 함

⁴⁷

(48)

48

클러스터 컴퓨터의 기본 구조 (계속)



클러스터 컴퓨터의 구성 요소들



노드 컴퓨터들(PC, 워크스테이션, 혹은 SMP)



운영체제(OS)



고속 네트워크



네트워크 인터페이스 하드웨어



통신 소프트웨어



클러스터 미들웨어(단일 시스템 이미지 및 시스템 가용성 지원)



병렬 프로그래밍 환경 및 도구들(병렬 컴파일러, PVM, MPI 등)



직렬, 병렬 혹은 분산 응용들

(49)

49

클러스터 컴퓨터의 기본 구조 (계속)



클러스터 노드: 통합된 컴퓨팅 자원으로서 동작할 수도 있고, 각각 독 립적인 컴퓨터로서도 사용 가능



클러스터 미들웨어: 단일 시스템 이미지(single system image : 통합 시스템 이미지(unified system image))를 제공해주며, 시스템 가용성 (system availability)을 지원하기 위한 시스템 소프트웨어



네트워크 인터페이스 하드웨어: 네트워크를 경유하여 클러스터 노드 들 간에 데이터 패킷을 송수신하는 기능을 수행



통신 소프트웨어: 클러스터 노드들 간이나 외부와의 빠르고 신뢰도 높 은 통신 메커니즘을 제공

⁴⁹

(50)

50

8.5.2 클러스터 컴퓨터의 분류



노드의 하드웨어 구성에 따른 분류



PC 클러스터(cluster of PCs : COPs)



워크스테이션 클러스터(cluster of workstations : COWs)



다중프로세서 클러스터(cluster of multiprocessors : CLUMPs)



노드 내부 H/W 및 OS에 따른 분류



동일형 클러스터(homogeneous cluster) : 모든 노드들이 유사한 하드 웨어 구조를 가지며,동일한OS를 탑재



혼합형 클러스터(heterogeneous cluster) : 노드들이 서로 다른 구조와 하드웨어 부품들(프로세서 포함)로 구성되며, 서로 다른 OS를 탑재

(51)

51

클러스터 컴퓨터의 분류 (계속)



OS 종류에 따른 분류



Linux 클러스터



Solaris 클러스터



NT 클러스터



AIX 클러스터



Digital VMS 클러스터



HP-UX 클러스터



Microsoft Wolfpack 클러스터

⁵¹

(52)

52



노드간 상호연결망에 따른 분류

 개방형 클러스트(exposed cluster): 인터넷과 같은 공공 네트

워크(public network)를 이용하여 노드들을 접속하며, 클러스 터가 외부에 노출되어 외부 사용자들도 이용 가능

 폐쇄형 클러스터(enclosed cluster): Myrinet과 같은 특수 네트

워크를 이용한 사설 네트워크(private network)를 이용하여 노 드들을 접속하며, 외부 사용자의 이용이 차단됨

(53)

53



개방형 클러스터의 특징



공공의 표준 통신망을 이용하기 때문에, 클러스터 노드들은 반드시 메 시지를 이용하여 통신해야 한다



다양한 통신 환경들을 지원해야 하는 표준 프로토콜을 사용해야 하기 때문에, 통신 오버헤드가 상당히 높다



통신 채널이 안전하지 못하다. 즉, 보안이 보장되지 못한다. 따라서 클 러스터 내부 통신의 보안을 위해서는 추가적인 작업이 필요하다



구축하기 매우 용이하다.사실상 하드웨어는 추가될 것이 거의 없고,각 노드에 클러스터링을 위한 소프트웨어들만 탑재하면 된다

⁵³

(54)

54



개방형 클러스터의 구성도

(55)

55



폐쇄형 클러스터의 특징



노드들 간의 통신이 공유 기억장치, 공유 디스크, 혹은 메시지 등과 같은 여 러 수단에의해 이루어질 수 있다



표준 프로토콜을 사용할 필요가 없기 때문에 통신 오버헤드가 매우 낮아지 며, 프로토콜을 각 시스템에 적합하도록 더욱 효과적으로 정의하고 구현할 수 있다



통신 보안이 보장될 수 있어서, 노드들 간의 데이터 전송이 노드 내부 통신 만큼 안전하게 이루어질 수 있다.



외부 트래픽(traffic)의 영향을 받지 않기 때문에 통신 지연이 줄어든다



공개형 클러스터에 비하여 구현 비용이 더 많이 들고, 외부 통신망과의 접 속은 어느 한 노드를 통해서만 이루어질 수 있다

⁵⁵

(56)

56



폐쇄형 클러스터의 구성도

(57)

57



각 노드의 소유권(ownership)에 따른 분류



전용 클러스터(dedicated cluster): 특정 사용자가 어느 한 노드 컴퓨터 를 별도로 소유할 수 없다. 즉, 클러스터 내의 모든 자원들은 공유되며, 병렬 컴퓨팅이 전체 클러스터를 통하여 수행된다.



비전용 클러스터(non-dedicated cluster): 각 사용자가 특정 노드 컴퓨터 에 대한 소유권을 가지고 사용할 수 있다. 즉, 사용자가 클러스터 내의 지정된 어느 한 노드 컴퓨터를 사용하며, 큰 응용을 병렬로 처리하기 위 하여 클러스터 전체 혹은 일부 노드들을 이용하고자 할 때만 노드 컴퓨 터들을 통합하여 사용한다. (사이클 스틸링 방식으로 사용)

⁵⁷