• 검색 결과가 없습니다.

2008년 비즈니스 분야 그리드 적용을 위한 그리드 기술 지원 보고서

N/A
N/A
Protected

Academic year: 2021

Share "2008년 비즈니스 분야 그리드 적용을 위한 그리드 기술 지원 보고서"

Copied!
61
0
0

로드 중.... (전체 텍스트 보기)

전체 글

(1)

년 비즈니스 분야 그리드 적용을 2008

위한 그리드 기술 지원보고서

안 준 언 정 용 환 이 승 연 이 필 우 , , ,

미 들 웨 어 연 구 팀 C I

한 국 과 학 기 술 정 보 연 구 원

ISBN 978-89-6211-299-3

(2)

차 례

추진 배경

1. ...1 지원 목표 및 내용

2. ...1 지원 기술 소개

3. ...3

□ KMI-R2(K*Grid Middleware Initiative) 데스크톱 그리드 플랫폼

그리드 기술 지원 내역

4. ...6

가 그리드. MPI 기술과 웹서비스 기반 PC 플랫폼용 Open

기술 지원 API

나 그리드 기술 활성화 도모를 위한 기술 세미나 개최. 다 대외 홍보.

결론

5. ...12

참고자료...13

(3)

추진 배경 1.

년 컴퓨터연계활용기반구축 사업 목적에 따른 산업 부문의 그리드

o 2008 「

활성화 및 산업화 추진 을 위하여 그리드 기술이전 및 산업화 추진,」 기술협력 및 지원 기술 교육 및 홍보를 통한 활성화의 일환으로 그리드, 기술 세미나 추진

지원 목표 및 내용 2.

지원 목표

o 그리드 기술 보급을 통하여 IT 분야 서비스의 투자비용 절감 및 품질 향상, 비즈니스 모델 다양화하여 비즈니스 그리드 시장의 활성화 및 그리드 기술의 산업화 확대

지원 내용

그리드 기술 적용을 통한 자원의 활용도 증대와 대규모 데이터 전송

o IT ·

공유기술 등 기업들의 관심이 가장 큰 기술들을 중심으로 지원

o 그리드 인프라 제공 및 그리드 미들웨어 그리드 네트워크 원천 기술 지원, 비즈니스 그리드 시범 사업을 통한 성과 및 분야 그리드 기술 적용

o IT

(4)

- 2 -

노하우 제공

한국과학기술정보연구원 에서 개발 중인 그리드 서비스 패키지인

o (KISTI)

와 데스크톱 그리드 솔루션인 을 중심으로 기술

KMI-R2 Korea@Home

이전 및 기술 지원 세미나 개최

(5)

지원 기술 소개 3.

□ KMI-R2

o 국가 그리드 인프라인 TIGRIS(Tera-scale Infrastructure for k*GRId Services) 를 위해 개발된 그리드 미들웨어 서비스 패키지

- Globus Toolkit 4 기반의 WSRF(Web Service Resource Framework) 서비스로서 개발

o Globus Toolkit 4의 프리미티브 서비스를 확장하여 핵심 미들웨어 서비스 개발

작업 관리 서비스 단순 작업 작업

- : , HTC(High-Throughput Computing) , 작업 처리 및 모니터링 서비스

MPI

파일 관리 서비스 원격 사이트간 파일 전송 및 삼자 전송

- : (Third-party

지원 transfer)

정보 서비스 다양한 형태의 그리드 자원에 대한 자원 정보 제공

- :

- 어카운팅 서비스: OGF UR-WG기반의 큐잉 시스템 사용량 어카운팅 정보 제공

그리드 서비스 그리드 환경에서의 작업 실행 서비스

- MPI : MPI

(6)

- 4 -

데스크톱 그리드 플랫폼

플랫폼 서버 o

분산응용의 작업과 자원제공 를 중앙에서 관리하는 서버이며 다음과

- PC

같은 서버들의 집합체 웹 서버

o

데스크톱 그리드에 관한 일반정보와 분산응용에 관한 정보를 웹페이지 -

를 통해 제공

회원 가입과 에이전트 프로그램의 다운로드 그리고 작업통계 정보를

- ,

제공

자원관리 스케줄링 서버

o /

활성중인 자원제공 의 작업요청 시 분산응용의 단위작업을 제공하며

- PC

작업결과의 회수를 담당

(7)

인증 서버 o

- 자원제공 PC에게 인증서 발급 조회 서비스를 제공하여 올바른 자원제공/ 로부터 전송된 작업데이터 작업 결과 그리고 메시지인지를 판별

PC , ,

데이터베이스 o

- 자원제공 PC의 시스템정보와 작업정보 그리고 회원 정보의 관리를 담당, 대용량 응용관리 서버

o

자원제공 에 보내줄 작업 데이터와 자원제공 가 전송한 작업결과

- PC PC

데이터를 저장 자원제공

o PC

- 플랫폼 서버에서 보내준 분산응용 작업을 수행하고 그 결과를 다시 플랫폼 서버로 제출하는 역할을 담당

필요에 따라 방식에 의해 다른 자원제공 로부터 작업 데이터를

- P2P PC

전송

분산응용 제공자 o

데스크톱 그리드 시스템을 이용하여 대용량 분산처리가 필요한 자신의 -

분산응용을 플랫폼 서버로 업로드하고 최종 결과를 플랫폼 서버로부터, 제공

(8)

- 6 -

그리드 기술 지원 내역 4.

가 그리드. MPI 기술과 웹서비스 기반 PC 플랫폼용 Open API 기술 지원 기술 지원 요약

주 이노그리드 기술 이전에 따른 기술 지원 o ( )

기술 지원 형태

o : 이전 기술 관련 세미나 매뉴얼 제공 및 인터넷을 통한, 기술 지원 상시( )

기술 지원 일정 o

년 월 일 이전 기술 관련 차 세미나 개최 그리드 기술

- 2008 3 20 : 1 ( MPI )

년 월 일 그리드 기술 관련 소스 및 기술 설명서

- 2008 3 25 : MPI (TIGRIS

그리드 MPI 서비스 ver1.0) 제공

년 월 일 이전 기술 관련 차 세미나 개최 웹서비스 기반

- 2008 4 10 : 2 ( PC

플랫폼용 Open API 기술)

년 월 일 웹서비스 기반 플랫폼용 기술 관련

- 2008 4 18 : PC Open API

소스 및 기술 설명서 웹서비스( Open API매뉴얼) 제공

기술 지원 내용

그리드 서비스 개요

o MPI

그리드 서비스는 기반의 서비스로써 그리드 환경에서

- MPI WSRF , MPI

작업을 제출 및 실행할 수 있게 하는 서비스

인프라스트럭처를 지원하기 위하여 다양한 종류의 계산 자원과

- TIGRIS ,

라이브러리를 수행 MPI

(9)

GRAM-

User JSDL

TIGRIS Job Management

Service

RSL

Compute Compute Resources Resources

JSDL

TIGRIS Grid MPI Service

TIGRIS File Management

Service

특정 라이브러리의 사용법에 대해 알지 못해도 작업을 실행 가능 - MPI

즉 사용자는 특정 자원에서, MPI 라이브러리로 컴파일된 실행파일의 수행법을 알지 못해도 서비스는 자동으로 실행 가능,

두 개 이상의 자원에서 동시에 작업을 실행할 수 있게 도와주는

- MPI

그리드 MPI 라이브러리를 지원

- 사용자가 컴파일을 하지 않아도 자동으로 실행 가능 다시 말해서 사용자, 는 자원에 로그인을 해서 직접 컴파일을 수행하지 않아도 되고 자동으, 로 MPI 라이브러리를 통해 컴파일

구조 o TIGRIS MPI Service

(10)

- 8 -

서비스는 의 인스턴스 를

- GridMPIFactoryService GridMPIService (instance) 생성하는 서비스

- GridMPIService 서비스는 계산 자원에 로컬스케줄러를 통해 작업을 할당 는 소스 코드를 컴파일하고 실행환경을 설정

- mconf

는 와 로 구성되어 있으며 각

- MDS Index Service Information Provider , 자원 노드에 설치된 Information Provider는 자원 노드의 자원 정보를

에서 수집할 수 있도록 정보를 주기적으로 제공 Index Service

- WSRF 기반의 MPI Resource 에는 Notification 디자인 패턴이 구현되어서, 토픽 리스트(Topic list)에 등록된 작업 상태 정보를 클라이언트가

할 수 있게 도와줌 subscribe

정보는 이런 작업 상태 변화에 따라서 적절한 시점에 - MPI Resource

에 저장되어서 나중에 사용되어 짐 DB

기반의 를 이용한 프락시 위임

- WSRF Delegation Factory Service (Proxy 을 통해서 자원 노드 단에서의 인증에 대한

Delegation) single-sign-on

서비스가 가능

웹서비스 를 위한 기능

o Open API Korea@Home

(11)

웹서비스 사용자생성컴퓨팅 환경을 지원하는 응용생성 응용

- Open API: ,

전송 응용개시 응용결과 응용종료, , , API 등의 웹서비스 Open API들로 이루어짐.

웹브로커 기존 시스템과 기능적 호환성을 유지하면서

- : Korea@Home

웹서비스 Open API와 상호기능을 중재

응용수행자의 응용 웹서비스 를 활용하여 응용수행자 자신의

- : Open API

목적에 맞는 응용을 생성 관리 및 활용,

나 그리드 기술 활성화 도모를 위한 기술 세미나 개최. 기술 세미나 목적

o 그리드 관련 사업자들을 대상으로 한 그리드 미들웨어인 KMI-R2와 데스크톱 그리드의 소개를 통하여 그리드 기술 활성화 도모

기대효과

o 최신 그리드 기술 소개를 통한 그리드 시장의 활성 및 그리드 기술 확대

(12)

- 10 -

현업 사업자들과의 토의를 통한 분야 그리드 현황 인식

o IT

개최 일정

년 월 일 이전 기술 관련 차 세미나 개최 그리드 기술

o 2008 3 20 : 1 ( MPI )

년 월 일 이전 기술 관련 차 세미나 개최 웹서비스 기반

o 2008 4 10 : 2 ( PC

플랫폼용 Open API 기술)

년 월 일 그리드 서비스 개발을 위한 그리드 미들웨어 기술 o 2008 10 30 :

세미나 개최

년 월 일 워크숍 그리드 기술 새미나 개최

o 2008 11 11 : OGF-KR 2008 기술 세미나 요약

(13)

다 대외 홍보.

 

 

(14)

- 12 -

결론 5.

o 그리드 서비스 패키지인 KMI-R2와 데스크톱 그리드 솔루션인 Korea@Home 을 중심으로 한 그리드 기술 지원 세미나 회 개최3

그리드 기술과 웹서비스 기반 플랫폼용 기술 지원을

o MPI PC Open API

통한 P2P 방식의 그리드 기반 CDN(Contents Delivery Network) S/W 솔루션 개발 지원

그리드 기술 세미나 및 대외 홍보를 통한 웹서비스 기반 그리드 서비스 o

를 위한 그리드 작업 관리 서비스 기술 이전

(15)

WSRF기반의 그리드 MPI 서비스

권오경 okkwon@kisti.re.kr KISTI, CI 미들웨어연구팀

차례

TIGRIS Introduction TIGRIS Introduction TIGRIS Grid Service TIGRIS Grid Service

TIGRIS Grid MPI Service TIGRIS Grid MPI Service

Functionalities Functionalities

Summary Summary

Architecture

Architecture

(16)

3

TIGRIS TIGRIS

( ( T T erascale erascale I I nfrastructure for nfrastructure for K* K* GRI GRI D D S S ervice) is… ervice) is …

Nation

Nation- -wide wide sustainable Grid Infrastructure sustainable Grid Infrastructure in in Korea providing

Korea providing production production -level Grid services - level Grid services to national research and development to national research and development

processes processes

TIGRIS 자원

Seoul Seoul

The 4thSupercomputer (IA32,SGE)

KISTI

Daejeon Daejeon

Busan Busan KREONET KREONET

SNU

IBM BladeCenter JS20 (PPC970,LoadLeveler)

PNU

SGI Altix 1350 (Itanium-II,PBSPro) TIGRIS Portal &

Service Nodes

(17)

5

TIGRIS Network Infrastructure - KREONET

TIGRIS Service TIGRIS Service

WSRF- WSRF -compatible compatible services & services &

useful

useful web portal web portal for the

for the reliable reliable Grid service on Grid service on

the heterogeneous the heterogeneous resources of TIGRIS resources of TIGRIS

TIGRIS Service TIGRIS Service

the reliable the reliable Grid service Grid service useful

useful web portal web portal

the heterogeneous the heterogeneous resources of TIGRIS resources of TIGRIS

(18)

7

TIGRIS Service TIGRIS Service

WSRF WSRF - - compatible compatible services & services &

useful

useful web portal web portal for the

for the reliable reliable Grid service on Grid service on the heterogeneous the heterogeneous resources of TIGRIS resources of TIGRIS

TIGRIS Service TIGRIS Service

WSRF- WSRF -compatible compatible services services is is

WS Core

TIGRIS Grid Service Stack

(19)

9

TIGRIS Grid MPI Service

Grid Enabled MPI Execution Service Grid Enabled MPI Execution Service Based on the WS

Based on the WS -Resource Framework - Resource Framework

Main Purposes

In order to provide a unified interface In order to provide a unified interface

for execution of MPI jobs for execution of MPI jobs in the Grid service environment in the Grid service environment

To reuse and collaborate To reuse and collaborate

computational jobs computational jobs

in the Grid service environment in the Grid service environment

1

2

(20)

11

Related Works (1/2)

 Mapping MPI functions to a corresponding Web services

Diego Puppin, Nicola Tonellotto, Domenico Laforenza, How to Run Scientific Applications over Web Services, Proceedings of the 2005 International

Conference on Parallel Processing Workshops, ICPPW’05, 2005, pp. 29-33

 Instead of MPI processes, the Web services wrapping the MPI nodes exchange messages with each other

 This approach is not suitable for high-performance computing, as the service construct causes too much overhead

 Messages are converted to the SOAP format and are passed through the service container

Related Works (2/2)

 Exposing the entire MPI application as the Web services

E. Floros, Yannis Cotronis, Exposing MPI Applications as Grid Services, Proceeding of the 10th International Euro-Par Conference, Euro-Par 2004, 2004, pp. 436-443

 This study focuses on data-centric virtualization and the input and output interfaces are exposed

 Through the service composition, the service result can be connected to other services

 It does not support the compiling process using the source

code of a job

(21)

13

Functionalities of TIGRIS Grid MPI Service

It It allows an MPI user to launch a job allows an MPI user to launch a job seamlessly without knowing

seamlessly without knowing

how to use the pertinent MPI library how to use the pertinent MPI library It executes an MPI job on the cross

It executes an MPI job on the cross- -site site resources by supporting

resources by supporting the Grid

the Grid- -enabled MPI libraries enabled MPI libraries It enables the user to launch a job It enables the user to launch a job using the source code without compiling.

using the source code without compiling.

1

2

3

Globus Toolkit

Architecture of TIGRIS Grid MPI Service

Grid MPI Grid MPI Service Service User

JSDL

MPI Library List

Job Management Job Management

Service Service

DBMS

RSL

MPI Library Information (MPIcc, MPIRun, MPIConf, MPIServer)

Compute Compute Resources Resources

Save JSDL

Exeuction

Create

MDS

GridMPIFactory

GridMPIService GridMPIResource

Information Provider

(22)

15

Components

WSRF WSRF -based Services - based Services



GridMPIFactoryService



invokes an instance of the GridMPIService and creates an instance of the GridMPIResource



GridMPIService



submits an MPI job to the resources

Application Application mconf



an application to compile the source code and configure the job

Information Provider Information Provider



gives the information of MPI libraries to TIGRIS Grid MPI Service

GridMPIFactoryService

(23)

17

GridMPIService

mconf



mconf completes the execution and the configuration of the job

Compiling Sequences of

the job

(24)

19

Information Provider



The information provider sends the information of the MPI library to the Index Service



Grid MPI Service gathers the information in

order to compile, configure and execute the job

Job Description Language



An MPI job is described in Job Submission Description Language (JSDL)

Compiling Sequences of

the job Source Code

of the job

The name of MPILIbrary

(25)

21

User Interface

Two kinds of user interface are provided to submit, monitor, and control an MPI job

 Web portal interface

It is difficult for the application user to learn the details of JSDL. Thus, it enables the user to specify the job elements easily.

 Command line interface (CLI)

Most users are familiar with a command line interpreter

Summary and Future Works

TIGRIS Grid MPI Service is Grid Enabled MPI Grid Enabled MPI Execution Service Based on the WS

Execution Service Based on the WS- -Resource Resource Framework

Framework

  It provides a unified interface for execution of It provides a unified interface for execution of MPI jobs in the Grid services environment

MPI jobs in the Grid services environment

  The reuse and collaborate computational jobs in The reuse and collaborate computational jobs in the Grid services environment is considered

the Grid services environment is considered

  Job Description Language is JSDL Job Description Language is JSDL

  We have two user interfaces: Web portal, CLI We have two user interfaces: Web portal, CLI

(26)

23

감사합니다 Q&A

For more questions, ask

okkwon@kisti.re.kr

(27)

웹서비스 Open API를 이용한 개방형 분산컴퓨팅 시스템 구축 기술

2008년

2008

년 4월

4

월 10일

10

________

________

KISTI

KISTI

 웹서비스 Open API의 적용 타당성 및 방안 연구

 기능별 웹서비스 Open API 설계 및 구현 연구

 테스트베드 구축 및 활용 연구

웹서비스 Open API를 이용한 개방형 분산컴퓨팅 시스템 구축 활용

기술 배경

자원제공환경 구축

사용자생산컴퓨팅환경 사용자생산컴퓨팅환경

능동적 응용참여 요구

다목적 응용 참여의 기회 응용결과의 활용도 증대 K@H 응용활성화 기여

1

(28)

- 3 -

웹서비스 Open API

원격에 위치한 서버 내의 자원을 서버 외부에서 쉽게 사용할 수 있게 해 주는 웹 기반의 서비스

웹서비스

서비스 제공자의 공개 API를 활용하여 제공받은 데이터를 활용하여 새로운 서비스나 융합 애플리케이션을 만들어 냄.

매쉬업

해외: 웹서비스 Open API를 통한 DB 공개 및 상용화 (아마존 등)

국내: 네이버, 다음 등에서 초보적 수준의 시도

웹서비스와 매쉬업의 융합에 의한 서비스 활성화 및 연구

최근 동향

웹서비스 Open API - 모델

Users Contents, Computing

Providers

social network

mashup

Web as

Platform

(29)

- 5 -

웹서비스 Open API – REST 방식

2000년 Roy Fielding의 박사학위논문에서 처음 제안

웹과 같은 대규모 네트워크 시스템을 위한 아키텍처

XML과 HTTP를 기반한 단순 웹기반 인터페이스를 지칭

REST

O

X http://wisefree.com/employee/getEmployee?id=603045 http://wisefree.com/employee/603045

Rest Example

Rest Example

URL을 통해 필요한 자원을 얻거나(HTTP GET), 삽입(HTTP PUT), 삭제(HTTP DELETE)할 수 있도록 설계

“서버주소 + 서비스이름 + 자원”

필요성

응용수행자와 플랫폼 관리자와의 협의에 의한 방식

 별도의 API 부재, 응용참여의 제한성

응용수행자의 수동적 작업 위탁 및 모니터링

 응용참여의 복잡성 증대, 응용결과의 활용성 저하

기존 응용 참여 방식

웹서비스 Open API의 제공

 응용위탁/모니터링 과정의 단순화, 응용참여의 제한성 극복

사용자생산컴퓨팅환경 제공

 사용자 목적 응용의 창출, 매쉬업 가능으로 응용결과 활용성 증대

웹서비스 Open API를 이용한 개방형 분산컴퓨팅 시스템 구축 활용

(30)

- 7 -

K@H 시스템 기능

Application Application Developers Developers

Volunteer PCs Volunteer PCs (PC Agents) (PC Agents) Job Management

Resource Management Job Scheduling

Korea@Home Server

Korea@Home Server

Job Submission

Final Results

Work Data

Work Result

K@H 시스템 기능

응용데이터

응용데이터 및및프로그램프로그램 준비준비

1

작업정보

작업정보 XML 파일XML 파일 작성작성

2

K@H K@H 파일서버로파일서버로 업로드업로드

3

K@H DB

K@H DB서버로서버로 등록등록

4

응용수행응용수행 수행수행준비준비및및개시개시

5

응용종료 응용종료 대기대기

6

응용결과응용결과 다운로드다운로드

7

전처리 과정

응용준비 과정

모니터링 과정 후처리 과정

응용전처리

0

응용결과활용

8

K@H

활용

(31)

- 9 -

웹서비스 Open API Architecture

웹서비스 Open

API

응용생성 응용전송 응용개시 응용결과 응용종료

사용자

Internet

응용

응용관리 자원관리 서버

서버 Subscription

Distribution

Distribution Distribution

Distribution Agent

Agent Agent

Agent Cooperation Cooperation

Cooperation

브로커

응용상태 응용멈춤 응용재개

작업목록 작업개수 수행시간

사용자 응용

사용자 응용

웹서비스 Open API 설계 및 구현

응용결과를

응용결과를 다운로드다운로드 AppResultDownload

AppResultDownload

응용의응용의종료를종료를보고받음보고받음 AppEnd

AppEnd

응용의응용의시작을시작을알림알림 AppStart

AppStart

응용프로그램

응용프로그램 응용데이터응용데이터전송전송 AppTransfer

AppTransfer

응용의응용의생성생성 AppCreate

AppCreate

응용위탁응용위탁APIAPI 응용수행자의

응용수행자의 인증인증 AppAuthentication

AppAuthentication

비고비고 기능설명기능설명

인터페이스명 인터페이스명

응용

응용

인터페이스-

인터페이스

- 응용위탁

응용위탁

(32)

- 11 -

웹서비스 Open API 설계 및 구현

멈춰진멈춰진응용을응용을재개시킴재개시킴 AppRestart

AppRestart

응용의응용의수행을수행을잠시잠시멈춤멈춤 AppPause

AppPause

응용의응용의종료상태를종료상태를알아봄알아봄 IsAppEnd

IsAppEnd

응용의

응용의 시작상태를시작상태를알아봄알아봄 IsAppStart

IsAppStart

응용상태관리 응용상태관리 APIAPI 응용의응용의상태를상태를파악파악

AppStatus AppStatus

비고 비고 기능설명

기능설명 인터페이스명

인터페이스명

응용

응용

인터페이스

인터페이스

-

-

응용상태관리

응용상태관리

웹서비스 Open API 설계 및 구현

응용의응용의완료된완료된작업리스트작업리스트얻어옴얻어옴 GetCompleteWorkList

GetCompleteWorkList

응용의응용의작업리스트작업리스트얻어옴얻어옴 GetTotalWorkList

GetTotalWorkList

응용의응용의완료작업의완료작업의수행시간을수행시간을얻어옴얻어옴 GetCompleteWorkTime

GetCompleteWorkTime

응용의응용의완료완료작업개수작업개수얻어옴얻어옴 GetCompleteWorkUnit

GetCompleteWorkUnit

응용작업정보 응용작업정보 APIAPI 응용의응용의총작업개수작업개수얻어옴얻어옴

GetTotalWorkUnit GetTotalWorkUnit

비고비고 기능설명기능설명

인터페이스명 인터페이스명

응용

응용

인터페이스

인터페이스

-

-

응용작업정보

응용작업정보

(33)

- 13 -

테스트베드 구축

P2P Communication Library Agent

Agent--based Autonomic P2Pbased Autonomic P2P

TCP/IP HTTP

Agent Library Agent Library

(Computation Library)

Web Service Open APIs

WebWeb Broker Broker API

호출/응답

기능요청/

응답

APP APP APP

감사합니다!

(34)

Jaegyoon Hahm jaehahm@kisti.re.kr

Grid Computing Research Team HPcN Project Division KISTI

Introduction to TIGRIS and KMI-R2

About Grid About Grid

K*Grid Introduction K*Grid Introduction

TIGRIS: Grid Infrastructure TIGRIS: Grid Infrastructure KMI KMI - - R2: Grid Middleware R2: Grid Middleware

발표내용

(35)

3

Grid Computing Grid Computing

Introduction



Grid Computing?



지리적(물리적)으로 분산되어 있는 연구 자원(컴퓨터, 대용

량 저장장치, 대용량 DB, 첨단과학장비, 인적자원)을 고속

의 네트워크로 연동하여 가상의 고성능/고용량 IT인프라

를 구축하는 정보통신 서비스

(36)

5

Applications

 Medical/Healthcare (imaging, diagnosis and treatment )

 Bioinformatics (study of the human genome and proteome to understand genetic diseases)

 Nanotechnology (design of new materials from the molecular scale)

 Engineering (design optimization, simulation, failure analysis and

remote Instrument access and control)

 Natural Resources and the Environment (weather forecasting, earth observation, modeling and prediction of

complex systems)

Structure of Grid Systems

Middleware Layer Application Layer

Resource Layer

(37)

7

Grid Middlewares

• 미국의 ANL에서 시작하여 그리드 미들웨어의 사실상 표준(de Facto Standard)로서 입지를 굳혀왔으며, 현재 Globus Alliance를 통해 개발 및 유지보수중

• 그리드 시스템 구축을 위한 표준 콤포넌트들을 제공

• 유럽의 CERN이 주축이 되어 LCG 프로젝트를 위해 시작된 미들 웨어로서 현재는 EGEE 프로젝트에서 범용적인 미들웨어 제공을 위해서 개발되고 있음

• GT2, Condor-G, LCG, EDG, SWEGrid, D-Grid 등 다양한 프로젝트로부터 그리드 미들웨어를 통합

• 독일 슈퍼컴퓨팅센터가 이 기종의 자원을 연동하기 위해 시작하 였고 2002년부터 상용 버전을 분리 개발

• GUI에 강점, 플러그인 방식의 어플리케이션 지원

• 영국의 e-Science 프로젝트에서 공통의 미들웨어로서 개발되 었고 범용 오픈 미들웨어를 지향 (OMII-UK)

• OMII-Europe는 웹서비스 기반의 글로벌 환경에서 다른 미들 웨어와의 호환성을 위해 별도로 추진

Types of Grid

(38)

9

K*Grid K*Grid

Production-level Grid infrastructure Experimental Grid testbed

for the pilot K*Grid applications

Phase1

Phase2

Implementation of the Nation-wide Grid Infrastructure in Korea

Grid Infrastructure Grid Infrastructure

• Funding Agency: KCC (Korea Communications Commission, formerly MIC)

• Period & Budget: 2002-2008 (7yrs) & 20M USD

• Leading organization: KISTI

Service implementation and integration for production-

level Grid infrastructure Development of core Grid

middleware technologies Phase1

Phase2

Business applications (Rendering, GridASP, etc.)

Scientific applications (Molecular Simulation,

UHV-TEM, CFD, etc.) Phase1

Phase2

Grid Application Grid Application Grid Service Tech.

Grid Service Tech.

(39)

11

TIGRIS TIGRIS

TIGRIS TIGRIS

(T ( Terascale erascale I I nfrastructure for nfrastructure for K*GRI K* GRID D S Service) is ervice) is … …

Nation

Nation- -wide wide sustainable Grid Infrastructure sustainable Grid Infrastructure in in Korea providing

Korea providing production production- -level Grid level Grid services

services to national research and to national research and development processes

development processes

(40)

13

Seoul Seoul

The 4thSupercomputer (IA32,SGE)

KISTI

Daejeon Daejeon

Busan Busan KREONET KREONET

SNU

IBM BladeCenter JS20 (PPC970,LoadLeveler)

PNU

SGI Altix 1350 (Itanium-II,PBSPro) TIGRIS Portal &

Service Nodes

TIGRIS Major Resources

Resources:

Resources:

And others (miniTIGRIS)

(41)

15

TIGRIS Network Infrastructure - KREONET

KMI KMI

(K*Grid Middleware Initiative)

(K*Grid Middleware Initiative)

(42)

2005

17

2004

2005

2004 2008

2008 yearyear

KMI-

KMI

-R1 R1

KMI-

KMI

-R2 R2

Core Core Middleware Middleware Toolkit (OGSI Toolkit (OGSI--

compatible) compatible)

MoreDream + MoreDream +

Other Other Services

Services

WSRF WSRF

OGSI OGSI

WSRF(GT4)

WSRF(GT4)- -

compatible

compatible

MoreDream

MoreDream

Transformation

2002

2002

History of KMI

KMI KMI - - R2 R2

WSRF- WSRF -compatible compatible services & services &

useful

useful web portal web portal for the

for the reliable reliable grid service on grid service on the the heterogeneous heterogeneous resources of TIGRIS resources of TIGRIS

KMI KMI - - R2 R2

the reliable the reliable grid service grid service useful

useful web portal web portal

the heterogeneous the heterogeneous resources of TIGRIS resources of TIGRIS

(43)

19

KMI KMI - - R2 Software Stack R2 Software Stack

KMI-Based Grid System Architecture

GT4 HTTP

Web Server 큐잉 시스템

웹 모듈 웹서비스

클라이언트 모듈

GT4

로컬 어카운팅 서비스 그리드 미들웨어

HTTP / SOAP

HTTP / SOAP RIA

Interface 브라우저

로컬 파일관리 서비스 로컬 자원정보 서비스 로컬 작업관리 서비스

어카운팅 서비스 파일 관리 서비스 자원 정보 서비스 작업 관리 서비스

(44)

21

Job Submission and Management

Grid MPI Grid MPI Service Service Stage in

Stage in

Stage out Stage out

Clean up Clean up Execute Job Manager Job Manager

User

Global Global Scheduler Scheduler

Proxy management Proxy management

DBMS

MDS

MyProxy Server

File Management

Service

GT4 GRAM GT4 GRAM

Web Portal

Job Type?

Status Listener Status Listener

MPI

Simple / HTC

Job Monitoring &

Job Provenance

JSDL Job Submission

Resource Selection

Multiple Job Type Job Lifetime Extension

Job Submission and Management

그리드 사용자

작업 제출 선택

작업 제출 화면 출력

단일 다중 작업 선택

작업 제출 자원 예약

작업 내용 입력

자원 선택

그리드 사용자

작업 제출 히스토리 검색

작업 상태 DB 저장 작업 상태 모니터링

큐잉 시스템 작업 상태 요청

작업 제출 DB 검색

그리드 사용자

(45)

23

Grid MPI Service

MDS

Grid MPI Grid MPI Service Service

FORKFORK--GRAMGRAM

Job Submit

MPI Library Information

GridMPIFactory

GridMPIResource GridMPIService

PBS-PBS-GRAMGRAM

mconf PBS

Front Node Computing Node RSL

MPI Library Information (MPIcc, MPIrun, MPIconf MPIserver)

Computing Computing Resource Resource

store JSDL

create

User Web

Portal

Job Management

Service

RSL

Preparation Execution

DBMS

JSDL

GridMPI, PACX-MPI, OpenMPI, MPICH-G2

Compilation

Various MPI Libraries

File Management

File Browsing / File System Management

Direct File Upload/Download User

(Desktop)

Web Portal (Web Server)

Site A

File Manage

ment Service

Physical File Space

G

Site B

File Manage

ment Service

Physical File Space

G

Third Party Transfer (GridFTP, FTP, HTTP, SSH…)

WSRF(GT4 service)

(46)

25

Resource Monitoring and Information Service

Site A Site A

Information Provider

GT4 Container

WS-GRAM

MDS4 Index SGE

Hardware Info SW info

Site B

Site B Site CSite C

GT4 Container

WS-GRAM

MDS4 Index Load

Leveler

Hardware Info SW info

GT4 Container

WS-GRAM

MDS4 Index PBSPro

Hardware Info SW info

Information Provider

Job Management

Service

Resource Search

Web Portal

User DB

Resource Monitoring

Service Global-wide

MDS4 Index

Resource Monitoring Various Information

Sources

Resource Monitoring

통합 DB 그리드 사용자 관리자

실시간 자원 정보 검색 자원 정보 히스토리 검색

자원 정보 데몬

실시간 자원 정보 요청 노드 자원 정보 수집

XML 자원 정보 인식



Queue 정보

 GRAM version, GRAM hostname, GRAM port/url, LRMS type, LRMS version, Total CPUs, Free CPUs, Queue status, Total jobs, Running jobs, Waiting jobs, Policy info



시스템 정보

 Processor type, Processor speed, Total memory, Operating System, SMP size, Storage device name, Storage device size, Storage device available space



S/W 정보

 name, version, path, description



grid-mapfile 정보

 Subject DN <-> local account

(47)

27

Site A

Accounting

Query

Usage Records User

DB

Web Portal

Accounting Service

Accounting Thread Accounting

Manager

Local Accounting

Service

Site C

Local Accounting

Service

Site B

Local Accounting

Service

LoadLeveler PBSPro

SGE

OGF-standard Records

Accounting Statistics Various Queuing Systems

Accounting

Schema based on OGF UR-WG Schema

Properties Data Type

Base Properties

RecordIdentity string

GlobalJobId String

LocalJobId String

LocalUserId String

GlobalUsername String

JobName String

Charge Float

Status String

WallDuration Duration CpuDuration Duration

StartTime Timestamp

EndTime Timestamp

MachineName String

SubmitHost domain name

통합 DB 그리드 사용자 관리자

어카운트 과금 정보 검색

자원 어카운팅 데몬 어카운팅 / 과금

정보 처리

어카운트 과금 정책 관리

Accounting System Flowchart

(48)

29

TIGRIS Grid Service – All Together

Resource LayerCollective Layer Job Management Service

MDS

Accounting Service

UI Layer

Web Server

Global Scheduler

Site A GRAM ServiceFile MDS Accounting

Site C MDS ServiceFile

Site B GRAM ServiceFile MPI Job Service

Accounting

General Purpose grid Portal Using RIA Technology General Purpose grid Portal Using RIA Technology Functionalities

Functionalities





Job submission and management with job Job submission and management with job provenance

provenance



Remote file system browsing and management Remote file system browsing and management with third

with third- -party transfer party transfer



Resource monitoring Resource monitoring



Computing resource Computing resource usage accounting usage accounting information viewing information viewing



Proxy & certificate Proxy & certificate management with management with

MyProxy MyProxy

TIGRIS Portal

TIGRIS Portal

(49)

31

ASGC ASGC

NGO NGO AIST,KEK,NAREGI AIST,KEK,NAREGI

CNIC,IHEP CNIC,IHEP

UCSD UCSD

NECTEC,TNG

NECTEC,TNG APACAPAC

<KISTI Grid CA>

<KISTI Grid CA> <APGrid PMA members><APGrid PMA members>

Certificate

Certificate- -issuing authority for domestic grid users issuing authority for domestic grid users IGTF- IGTF -accredited Grid CA operation and accredited Grid CA operation and

management management

KISTI Grid CA KISTI Grid CA

※International Grid Trust Federation (IGTF)

International Grid Trust Federation (IGTF)

-

- Federated Grid authentication service

Federated Grid authentication service -

-3 regional Policy Manage Authorities (PMA) 3 regional Policy Manage Authorities (PMA)

Cyberinfrasturcture

Computing Resources User

Computing Resources LSPs set up/ release by

GMPLS 대전 GMPLS router

GMPLS router 10Gbps (OC-192) 2

optical channels in SMF

(50)

33

감사합니다

jaehahm@kisti.re.kr

(51)

CI 미들웨어연구팀 2008. 10. 30

Korea@Home Overview

차 례



Korea@Home 플랫폼 개요



Korea@Home 서버 구성



Korea@Home 에이전트 특징



Korea@Home VS BOINC

(52)

Korea@Home 플랫폼 개요

Korea@Home 플랫폼 개요

JobJobJobJob JobJobJobJob

Result

Result

Result

Result

ResultResultResultResult

(53)

Korea@Home 서버 구성

Korea@Home 서버 구성(1/4)

… …

K@H Platform

(54)

Korea@Home 서버 구성 (2/4)

… …

K@H Platform

K@H 서버

 기능

 K@H 서버

 응용 파일 분배/저장

Korea@Home 서버 구성 (3/4)

… …

K@H Platform

DB 서버

 기능

 응용 및 사용자 관련 정보 저장

(55)

Korea@Home 서버 구성 (4/4)

… …

K@H Platform

Backup 서버

 기능

 응용 파일, DB등을 Backup

Korea@Home 에이전트 특징

(56)

Korea@Home 에이전트 특징



Korea@Home Agent



지원 OS : MS Windows



권장 사양 : Pentium III 500Mhz 이상



현재 버전 : 2.6.6



다운로드 : http://koreaathome.org

Korea@Home 에이전트 특징



작업창



응용 정보



작업 기록

(57)

Korea@Home 에이전트 특징



이용률창



CPU, Memory, Network 이용률 정보

Korea@Home 에이전트 특징



상태창



에이전트 정보



같은 응용 수행 에이전트 목록



K@H 정보

(58)

Korea@Home 에이전트 특징



설정창



실행 관련 설정 사항



수행할 응용에 대한 설정 사항

Korea@Home 에이전트 특징



공지사항창



기타 Korea@Home 관련 공지사항

(59)

Korea@Home VS BOINC

Korea@Home VS BOINC

BOINC

Korea@Home

(60)

Korea@Home VS BOINC

Server-Client Hybrid P2P

BOINC Korea@Home

Korea@Home VS BOINC

Server-Client Hybrid P2P

BOINC Korea@Home

Agent

• App1

• App2

Server

Agent

App1 Server

App2 Server

(61)

Korea@Home VS BOINC

BOINC API .

Server-Client Hybrid P2P

BOINC Korea@Home

Agent

• App1

• App2

Server

Agent

App1 Server

App2 Server

Thank you.

참조

관련 문서

1 John Owen, Justification by Faith Alone, in The Works of John Owen, ed. John Bolt, trans. Scott Clark, &#34;Do This and Live: Christ's Active Obedience as the

The objective of this research is to propose a method for evaluating service reliability based on service processes using fuzzy failure mode effects analysis (FMEA) and grey

To analyze the demand and supply of Oriental Medicine Hospital status and population trends were analyzed inthe hospital service area.. As a result, the Service Area of the

Second, for the relationship between hospital capability and service orientation, the hospital capability had the positive significant impact on the service orientation in the

First, of human resources competencies in experience businesses, the customer service orientation and expertise besides achievement orientation had directly

In terms of the relationship between personal service contact and passengers' emotions, this study classified service contact quality factors into four groups based on

6 illustrates the interaction of the proposed dynamic service assignment where cloud services are collected from cloud service providers after the mean

 Characteristics of a human service organizations designed on the basis of classical principles ….  Major Contributions that classical theories offer to