년 비즈니스 분야 그리드 적용을 2008
위한 그리드 기술 지원보고서
안 준 언 정 용 환 이 승 연 이 필 우 , , ,
미 들 웨 어 연 구 팀 C I
한 국 과 학 기 술 정 보 연 구 원
ISBN 978-89-6211-299-3
차 례
추진 배경
1. ...1 지원 목표 및 내용
2. ...1 지원 기술 소개
3. ...3
□ KMI-R2(K*Grid Middleware Initiative) 데스크톱 그리드 플랫폼
□
그리드 기술 지원 내역
4. ...6
가 그리드. MPI 기술과 웹서비스 기반 PC 플랫폼용 Open기술 지원 API
나 그리드 기술 활성화 도모를 위한 기술 세미나 개최. 다 대외 홍보.
결론
5. ...12
참고자료...13
추진 배경 1.
년 컴퓨터연계활용기반구축 사업 목적에 따른 산업 부문의 그리드
o 2008 「
활성화 및 산업화 추진 을 위하여 그리드 기술이전 및 산업화 추진,」 기술협력 및 지원 기술 교육 및 홍보를 통한 활성화의 일환으로 그리드, 기술 세미나 추진
지원 목표 및 내용 2.
지원 목표
□
o 그리드 기술 보급을 통하여 IT 분야 서비스의 투자비용 절감 및 품질 향상, 비즈니스 모델 다양화하여 비즈니스 그리드 시장의 활성화 및 그리드 기술의 산업화 확대
지원 내용
□
그리드 기술 적용을 통한 자원의 활용도 증대와 대규모 데이터 전송
o IT ·
공유기술 등 기업들의 관심이 가장 큰 기술들을 중심으로 지원
o 그리드 인프라 제공 및 그리드 미들웨어 그리드 네트워크 원천 기술 지원, 비즈니스 그리드 시범 사업을 통한 성과 및 분야 그리드 기술 적용
o IT
- 2 -
노하우 제공
한국과학기술정보연구원 에서 개발 중인 그리드 서비스 패키지인
o (KISTI)
와 데스크톱 그리드 솔루션인 을 중심으로 기술
KMI-R2 Korea@Home
이전 및 기술 지원 세미나 개최
지원 기술 소개 3.
□ KMI-R2
o 국가 그리드 인프라인 TIGRIS(Tera-scale Infrastructure for k*GRId Services) 를 위해 개발된 그리드 미들웨어 서비스 패키지
- Globus Toolkit 4 기반의 WSRF(Web Service Resource Framework) 서비스로서 개발
o Globus Toolkit 4의 프리미티브 서비스를 확장하여 핵심 미들웨어 서비스 개발
작업 관리 서비스 단순 작업 작업
- : , HTC(High-Throughput Computing) , 작업 처리 및 모니터링 서비스
MPI
파일 관리 서비스 원격 사이트간 파일 전송 및 삼자 전송
- : (Third-party
지원 transfer)
정보 서비스 다양한 형태의 그리드 자원에 대한 자원 정보 제공
- :
- 어카운팅 서비스: OGF UR-WG기반의 큐잉 시스템 사용량 어카운팅 정보 제공
그리드 서비스 그리드 환경에서의 작업 실행 서비스
- MPI : MPI
- 4 -
데스크톱 그리드 플랫폼
□
플랫폼 서버 o
분산응용의 작업과 자원제공 를 중앙에서 관리하는 서버이며 다음과
- PC
같은 서버들의 집합체 웹 서버
o
데스크톱 그리드에 관한 일반정보와 분산응용에 관한 정보를 웹페이지 -
를 통해 제공
회원 가입과 에이전트 프로그램의 다운로드 그리고 작업통계 정보를
- ,
제공
자원관리 스케줄링 서버
o /
활성중인 자원제공 의 작업요청 시 분산응용의 단위작업을 제공하며
- PC
작업결과의 회수를 담당
인증 서버 o
- 자원제공 PC에게 인증서 발급 조회 서비스를 제공하여 올바른 자원제공/ 로부터 전송된 작업데이터 작업 결과 그리고 메시지인지를 판별
PC , ,
데이터베이스 o
- 자원제공 PC의 시스템정보와 작업정보 그리고 회원 정보의 관리를 담당, 대용량 응용관리 서버
o
자원제공 에 보내줄 작업 데이터와 자원제공 가 전송한 작업결과
- PC PC
데이터를 저장 자원제공
o PC
- 플랫폼 서버에서 보내준 분산응용 작업을 수행하고 그 결과를 다시 플랫폼 서버로 제출하는 역할을 담당
필요에 따라 방식에 의해 다른 자원제공 로부터 작업 데이터를
- P2P PC
전송
분산응용 제공자 o
데스크톱 그리드 시스템을 이용하여 대용량 분산처리가 필요한 자신의 -
분산응용을 플랫폼 서버로 업로드하고 최종 결과를 플랫폼 서버로부터, 제공
- 6 -
그리드 기술 지원 내역 4.
가 그리드. MPI 기술과 웹서비스 기반 PC 플랫폼용 Open API 기술 지원 기술 지원 요약
□
주 이노그리드 기술 이전에 따른 기술 지원 o ( )
기술 지원 형태
o : 이전 기술 관련 세미나 매뉴얼 제공 및 인터넷을 통한, 기술 지원 상시( )
기술 지원 일정 o
년 월 일 이전 기술 관련 차 세미나 개최 그리드 기술
- 2008 3 20 : 1 ( MPI )
년 월 일 그리드 기술 관련 소스 및 기술 설명서
- 2008 3 25 : MPI (TIGRIS
그리드 MPI 서비스 ver1.0) 제공
년 월 일 이전 기술 관련 차 세미나 개최 웹서비스 기반
- 2008 4 10 : 2 ( PC
플랫폼용 Open API 기술)
년 월 일 웹서비스 기반 플랫폼용 기술 관련
- 2008 4 18 : PC Open API
소스 및 기술 설명서 웹서비스( Open API매뉴얼) 제공
기술 지원 내용
□
그리드 서비스 개요
o MPI
그리드 서비스는 기반의 서비스로써 그리드 환경에서
- MPI WSRF , MPI
작업을 제출 및 실행할 수 있게 하는 서비스
인프라스트럭처를 지원하기 위하여 다양한 종류의 계산 자원과
- TIGRIS ,
라이브러리를 수행 MPI
GRAM-
User JSDL
TIGRIS Job Management
Service
RSL
Compute Compute Resources Resources
JSDL
TIGRIS Grid MPI Service
TIGRIS File Management
Service
특정 라이브러리의 사용법에 대해 알지 못해도 작업을 실행 가능 - MPI
즉 사용자는 특정 자원에서, MPI 라이브러리로 컴파일된 실행파일의 수행법을 알지 못해도 서비스는 자동으로 실행 가능,
두 개 이상의 자원에서 동시에 작업을 실행할 수 있게 도와주는
- MPI
그리드 MPI 라이브러리를 지원
- 사용자가 컴파일을 하지 않아도 자동으로 실행 가능 다시 말해서 사용자, 는 자원에 로그인을 해서 직접 컴파일을 수행하지 않아도 되고 자동으, 로 MPI 라이브러리를 통해 컴파일
구조 o TIGRIS MPI Service
- 8 -
서비스는 의 인스턴스 를
- GridMPIFactoryService GridMPIService (instance) 생성하는 서비스
- GridMPIService 서비스는 계산 자원에 로컬스케줄러를 통해 작업을 할당 는 소스 코드를 컴파일하고 실행환경을 설정
- mconf
는 와 로 구성되어 있으며 각
- MDS Index Service Information Provider , 자원 노드에 설치된 Information Provider는 자원 노드의 자원 정보를
에서 수집할 수 있도록 정보를 주기적으로 제공 Index Service
- WSRF 기반의 MPI Resource 에는 Notification 디자인 패턴이 구현되어서, 토픽 리스트(Topic list)에 등록된 작업 상태 정보를 클라이언트가
할 수 있게 도와줌 subscribe
정보는 이런 작업 상태 변화에 따라서 적절한 시점에 - MPI Resource
에 저장되어서 나중에 사용되어 짐 DB
기반의 를 이용한 프락시 위임
- WSRF Delegation Factory Service (Proxy 을 통해서 자원 노드 단에서의 인증에 대한
Delegation) single-sign-on
서비스가 가능
웹서비스 를 위한 기능
o Open API Korea@Home
웹서비스 사용자생성컴퓨팅 환경을 지원하는 응용생성 응용
- Open API: ,
전송 응용개시 응용결과 응용종료, , , API 등의 웹서비스 Open API들로 이루어짐.
웹브로커 기존 시스템과 기능적 호환성을 유지하면서
- : Korea@Home
웹서비스 Open API와 상호기능을 중재
응용수행자의 응용 웹서비스 를 활용하여 응용수행자 자신의
- : Open API
목적에 맞는 응용을 생성 관리 및 활용,
나 그리드 기술 활성화 도모를 위한 기술 세미나 개최. 기술 세미나 목적
□
o 그리드 관련 사업자들을 대상으로 한 그리드 미들웨어인 KMI-R2와 데스크톱 그리드의 소개를 통하여 그리드 기술 활성화 도모
기대효과
□
o 최신 그리드 기술 소개를 통한 그리드 시장의 활성 및 그리드 기술 확대
- 10 -
현업 사업자들과의 토의를 통한 분야 그리드 현황 인식
o IT
개최 일정
□
년 월 일 이전 기술 관련 차 세미나 개최 그리드 기술
o 2008 3 20 : 1 ( MPI )
년 월 일 이전 기술 관련 차 세미나 개최 웹서비스 기반
o 2008 4 10 : 2 ( PC
플랫폼용 Open API 기술)
년 월 일 그리드 서비스 개발을 위한 그리드 미들웨어 기술 o 2008 10 30 :
세미나 개최
년 월 일 워크숍 그리드 기술 새미나 개최
o 2008 11 11 : OGF-KR 2008 기술 세미나 요약
□
다 대외 홍보.
- 12 -
결론 5.
o 그리드 서비스 패키지인 KMI-R2와 데스크톱 그리드 솔루션인 Korea@Home 을 중심으로 한 그리드 기술 지원 세미나 회 개최3
그리드 기술과 웹서비스 기반 플랫폼용 기술 지원을
o MPI PC Open API
통한 P2P 방식의 그리드 기반 CDN(Contents Delivery Network) S/W 솔루션 개발 지원
그리드 기술 세미나 및 대외 홍보를 통한 웹서비스 기반 그리드 서비스 o
를 위한 그리드 작업 관리 서비스 기술 이전
WSRF기반의 그리드 MPI 서비스
권오경 okkwon@kisti.re.kr KISTI, CI 미들웨어연구팀
차례
TIGRIS Introduction TIGRIS Introduction TIGRIS Grid Service TIGRIS Grid Service
TIGRIS Grid MPI Service TIGRIS Grid MPI Service
Functionalities Functionalities
Summary Summary
Architecture
Architecture
3
TIGRIS TIGRIS
( ( T T erascale erascale I I nfrastructure for nfrastructure for K* K* GRI GRI D D S S ervice) is… ervice) is …
Nation
Nation- -wide wide sustainable Grid Infrastructure sustainable Grid Infrastructure in in Korea providing
Korea providing production production -level Grid services - level Grid services to national research and development to national research and development
processes processes
TIGRIS 자원
Seoul Seoul
The 4thSupercomputer (IA32,SGE)
KISTI
Daejeon Daejeon
Busan Busan KREONET KREONET
SNU
IBM BladeCenter JS20 (PPC970,LoadLeveler)
PNU
SGI Altix 1350 (Itanium-II,PBSPro) TIGRIS Portal &
Service Nodes
5
TIGRIS Network Infrastructure - KREONET
TIGRIS Service TIGRIS Service
WSRF- WSRF -compatible compatible services & services &
useful
useful web portal web portal for the
for the reliable reliable Grid service on Grid service on
the heterogeneous the heterogeneous resources of TIGRIS resources of TIGRIS
TIGRIS Service TIGRIS Service
the reliable the reliable Grid service Grid service useful
useful web portal web portal
the heterogeneous the heterogeneous resources of TIGRIS resources of TIGRIS
7
TIGRIS Service TIGRIS Service
WSRF WSRF - - compatible compatible services & services &
useful
useful web portal web portal for the
for the reliable reliable Grid service on Grid service on the heterogeneous the heterogeneous resources of TIGRIS resources of TIGRIS
TIGRIS Service TIGRIS Service
WSRF- WSRF -compatible compatible services services is is
WS Core
TIGRIS Grid Service Stack
9
TIGRIS Grid MPI Service
Grid Enabled MPI Execution Service Grid Enabled MPI Execution Service Based on the WS
Based on the WS -Resource Framework - Resource Framework
Main Purposes
In order to provide a unified interface In order to provide a unified interface
for execution of MPI jobs for execution of MPI jobs in the Grid service environment in the Grid service environment
To reuse and collaborate To reuse and collaborate
computational jobs computational jobs
in the Grid service environment in the Grid service environment
1
2
11
Related Works (1/2)
Mapping MPI functions to a corresponding Web services
Diego Puppin, Nicola Tonellotto, Domenico Laforenza, How to Run Scientific Applications over Web Services, Proceedings of the 2005 International
Conference on Parallel Processing Workshops, ICPPW’05, 2005, pp. 29-33
Instead of MPI processes, the Web services wrapping the MPI nodes exchange messages with each other
This approach is not suitable for high-performance computing, as the service construct causes too much overhead
Messages are converted to the SOAP format and are passed through the service container
Related Works (2/2)
Exposing the entire MPI application as the Web services
E. Floros, Yannis Cotronis, Exposing MPI Applications as Grid Services, Proceeding of the 10th International Euro-Par Conference, Euro-Par 2004, 2004, pp. 436-443
This study focuses on data-centric virtualization and the input and output interfaces are exposed
Through the service composition, the service result can be connected to other services
It does not support the compiling process using the source
code of a job
13
Functionalities of TIGRIS Grid MPI Service
It It allows an MPI user to launch a job allows an MPI user to launch a job seamlessly without knowing
seamlessly without knowing
how to use the pertinent MPI library how to use the pertinent MPI library It executes an MPI job on the cross
It executes an MPI job on the cross- -site site resources by supporting
resources by supporting the Grid
the Grid- -enabled MPI libraries enabled MPI libraries It enables the user to launch a job It enables the user to launch a job using the source code without compiling.
using the source code without compiling.
1
2
3
Globus Toolkit
Architecture of TIGRIS Grid MPI Service
Grid MPI Grid MPI Service Service User
JSDL
MPI Library List
Job Management Job Management
Service Service
DBMS
RSL
MPI Library Information (MPIcc, MPIRun, MPIConf, MPIServer)
Compute Compute Resources Resources
Save JSDL
Exeuction
Create
MDS
GridMPIFactory
GridMPIService GridMPIResource
Information Provider
15
Components
WSRF WSRF -based Services - based Services
GridMPIFactoryService
invokes an instance of the GridMPIService and creates an instance of the GridMPIResource
GridMPIService
submits an MPI job to the resources
Application Application mconf
an application to compile the source code and configure the job
Information Provider Information Provider
gives the information of MPI libraries to TIGRIS Grid MPI Service
GridMPIFactoryService
17
GridMPIService
mconf
mconf completes the execution and the configuration of the job
Compiling Sequences of
the job
19
Information Provider
The information provider sends the information of the MPI library to the Index Service
Grid MPI Service gathers the information in
order to compile, configure and execute the job
Job Description Language
An MPI job is described in Job Submission Description Language (JSDL)
Compiling Sequences of
the job Source Code
of the job
The name of MPILIbrary
21
User Interface
Two kinds of user interface are provided to submit, monitor, and control an MPI job
Web portal interface
It is difficult for the application user to learn the details of JSDL. Thus, it enables the user to specify the job elements easily.
Command line interface (CLI)
Most users are familiar with a command line interpreter
Summary and Future Works
TIGRIS Grid MPI Service is Grid Enabled MPI Grid Enabled MPI Execution Service Based on the WS
Execution Service Based on the WS- -Resource Resource Framework
Framework
It provides a unified interface for execution of It provides a unified interface for execution of MPI jobs in the Grid services environment
MPI jobs in the Grid services environment
The reuse and collaborate computational jobs in The reuse and collaborate computational jobs in the Grid services environment is considered
the Grid services environment is considered
Job Description Language is JSDL Job Description Language is JSDL
We have two user interfaces: Web portal, CLI We have two user interfaces: Web portal, CLI
23
감사합니다 Q&A
For more questions, ask
okkwon@kisti.re.kr
웹서비스 Open API를 이용한 개방형 분산컴퓨팅 시스템 구축 기술
2008년
2008년 4월
4월 10일
10일
________________
KISTI
KISTI
웹서비스 Open API의 적용 타당성 및 방안 연구
기능별 웹서비스 Open API 설계 및 구현 연구
테스트베드 구축 및 활용 연구
웹서비스 Open API를 이용한 개방형 분산컴퓨팅 시스템 구축 활용
기술 배경
자원제공환경 구축
사용자생산컴퓨팅환경 사용자생산컴퓨팅환경
능동적 응용참여 요구
다목적 응용 참여의 기회 응용결과의 활용도 증대 K@H 응용활성화 기여
1
- 3 -
웹서비스 Open API
원격에 위치한 서버 내의 자원을 서버 외부에서 쉽게 사용할 수 있게 해 주는 웹 기반의 서비스
웹서비스
서비스 제공자의 공개 API를 활용하여 제공받은 데이터를 활용하여 새로운 서비스나 융합 애플리케이션을 만들어 냄.
매쉬업
해외: 웹서비스 Open API를 통한 DB 공개 및 상용화 (아마존 등)
국내: 네이버, 다음 등에서 초보적 수준의 시도
웹서비스와 매쉬업의 융합에 의한 서비스 활성화 및 연구
최근 동향
웹서비스 Open API - 모델
Users Contents, Computing
Providers
social network
mashup
Web as
Platform
- 5 -
웹서비스 Open API – REST 방식
2000년 Roy Fielding의 박사학위논문에서 처음 제안
웹과 같은 대규모 네트워크 시스템을 위한 아키텍처
XML과 HTTP를 기반한 단순 웹기반 인터페이스를 지칭
REST
O
X http://wisefree.com/employee/getEmployee?id=603045 http://wisefree.com/employee/603045
Rest Example
Rest Example
URL을 통해 필요한 자원을 얻거나(HTTP GET), 삽입(HTTP PUT), 삭제(HTTP DELETE)할 수 있도록 설계
“서버주소 + 서비스이름 + 자원”
필요성
응용수행자와 플랫폼 관리자와의 협의에 의한 방식
별도의 API 부재, 응용참여의 제한성
응용수행자의 수동적 작업 위탁 및 모니터링
응용참여의 복잡성 증대, 응용결과의 활용성 저하
기존 응용 참여 방식
웹서비스 Open API의 제공
응용위탁/모니터링 과정의 단순화, 응용참여의 제한성 극복
사용자생산컴퓨팅환경 제공
사용자 목적 응용의 창출, 매쉬업 가능으로 응용결과 활용성 증대
웹서비스 Open API를 이용한 개방형 분산컴퓨팅 시스템 구축 활용
- 7 -
K@H 시스템 기능
Application Application Developers Developers
Volunteer PCs Volunteer PCs (PC Agents) (PC Agents) Job Management
Resource Management Job Scheduling
Korea@Home Server
Korea@Home Server
Job Submission
Final Results
Work Data
Work Result
K@H 시스템 기능
응용데이터
응용데이터 및및프로그램프로그램 준비준비
1
작업정보
작업정보 XML 파일XML 파일 작성작성
2
K@H K@H 파일서버로파일서버로 업로드업로드
3
K@H DB
K@H DB서버로서버로 등록등록
4
응용수행응용수행 수행수행준비준비및및개시개시
5
응용종료 응용종료 대기대기
6
응용결과응용결과 다운로드다운로드
7
전처리 과정
응용준비 과정
모니터링 과정 후처리 과정
응용전처리
0
응용결과활용
8
K@H
활용
- 9 -
웹서비스 Open API Architecture
웹서비스 Open
API
응용생성 응용전송 응용개시 응용결과 응용종료
사용자
Internet
응용응용관리 자원관리 서버
서버 Subscription
Distribution
Distribution Distribution
Distribution Agent
Agent Agent
Agent Cooperation Cooperation
Cooperation
웹 브로커
응용상태 응용멈춤 응용재개
작업목록 작업개수 수행시간
사용자 응용
사용자 응용
웹서비스 Open API 설계 및 구현
응용결과를
응용결과를 다운로드다운로드 AppResultDownload
AppResultDownload
응용의응용의종료를종료를보고받음보고받음 AppEnd
AppEnd
응용의응용의시작을시작을알림알림 AppStart
AppStart
응용프로그램
응용프로그램 및및응용데이터응용데이터전송전송 AppTransfer
AppTransfer
응용의응용의생성생성 AppCreate
AppCreate
응용위탁응용위탁APIAPI 응용수행자의
응용수행자의 인증인증 AppAuthentication
AppAuthentication
비고비고 기능설명기능설명
인터페이스명 인터페이스명
응용
응용인터페이스-
인터페이스- 응용위탁
응용위탁- 11 -
웹서비스 Open API 설계 및 구현
멈춰진멈춰진응용을응용을재개시킴재개시킴 AppRestart
AppRestart
응용의응용의수행을수행을잠시잠시멈춤멈춤 AppPause
AppPause
응용의응용의종료상태를종료상태를알아봄알아봄 IsAppEnd
IsAppEnd
응용의
응용의 시작상태를시작상태를알아봄알아봄 IsAppStart
IsAppStart
응용상태관리 응용상태관리 APIAPI 응용의응용의상태를상태를파악파악
AppStatus AppStatus
비고 비고 기능설명
기능설명 인터페이스명
인터페이스명
응용
응용인터페이스
인터페이스-
-응용상태관리
응용상태관리웹서비스 Open API 설계 및 구현
응용의응용의완료된완료된작업리스트작업리스트얻어옴얻어옴 GetCompleteWorkList
GetCompleteWorkList
응용의응용의작업리스트작업리스트얻어옴얻어옴 GetTotalWorkList
GetTotalWorkList
응용의응용의완료작업의완료작업의총총수행시간을수행시간을얻어옴얻어옴 GetCompleteWorkTime
GetCompleteWorkTime
응용의응용의완료완료작업개수작업개수얻어옴얻어옴 GetCompleteWorkUnit
GetCompleteWorkUnit
응용작업정보 응용작업정보 APIAPI 응용의응용의총총작업개수작업개수얻어옴얻어옴
GetTotalWorkUnit GetTotalWorkUnit
비고비고 기능설명기능설명
인터페이스명 인터페이스명
응용
응용인터페이스
인터페이스-
-응용작업정보
응용작업정보- 13 -
테스트베드 구축
P2P Communication Library Agent
Agent--based Autonomic P2Pbased Autonomic P2P
TCP/IP HTTP
Agent Library Agent Library(Computation Library)
Web Service Open APIs
WebWeb Broker Broker API
호출/응답
기능요청/
응답
APP APP APP
응 용 작 성
감사합니다!
Jaegyoon Hahm jaehahm@kisti.re.kr
Grid Computing Research Team HPcN Project Division KISTI
Introduction to TIGRIS and KMI-R2
About Grid About Grid
K*Grid Introduction K*Grid Introduction
TIGRIS: Grid Infrastructure TIGRIS: Grid Infrastructure KMI KMI - - R2: Grid Middleware R2: Grid Middleware
발표내용
3
Grid Computing Grid Computing
Introduction
Grid Computing?
지리적(물리적)으로 분산되어 있는 연구 자원(컴퓨터, 대용
량 저장장치, 대용량 DB, 첨단과학장비, 인적자원)을 고속
의 네트워크로 연동하여 가상의 고성능/고용량 IT인프라
를 구축하는 정보통신 서비스
5
Applications
Medical/Healthcare (imaging, diagnosis and treatment )
Bioinformatics (study of the human genome and proteome to understand genetic diseases)
Nanotechnology (design of new materials from the molecular scale)
Engineering (design optimization, simulation, failure analysis and
remote Instrument access and control)
Natural Resources and the Environment (weather forecasting, earth observation, modeling and prediction of
complex systems)
Structure of Grid Systems
Middleware Layer Application Layer
Resource Layer
7
Grid Middlewares
• 미국의 ANL에서 시작하여 그리드 미들웨어의 사실상 표준(de Facto Standard)로서 입지를 굳혀왔으며, 현재 Globus Alliance를 통해 개발 및 유지보수중
• 그리드 시스템 구축을 위한 표준 콤포넌트들을 제공
• 유럽의 CERN이 주축이 되어 LCG 프로젝트를 위해 시작된 미들 웨어로서 현재는 EGEE 프로젝트에서 범용적인 미들웨어 제공을 위해서 개발되고 있음
• GT2, Condor-G, LCG, EDG, SWEGrid, D-Grid 등 다양한 프로젝트로부터 그리드 미들웨어를 통합
• 독일 슈퍼컴퓨팅센터가 이 기종의 자원을 연동하기 위해 시작하 였고 2002년부터 상용 버전을 분리 개발
• GUI에 강점, 플러그인 방식의 어플리케이션 지원
• 영국의 e-Science 프로젝트에서 공통의 미들웨어로서 개발되 었고 범용 오픈 미들웨어를 지향 (OMII-UK)
• OMII-Europe는 웹서비스 기반의 글로벌 환경에서 다른 미들 웨어와의 호환성을 위해 별도로 추진
Types of Grid
9
K*Grid K*Grid
Production-level Grid infrastructure Experimental Grid testbed
for the pilot K*Grid applications
Phase1
Phase2
Implementation of the Nation-wide Grid Infrastructure in Korea
Grid Infrastructure Grid Infrastructure
• Funding Agency: KCC (Korea Communications Commission, formerly MIC)
• Period & Budget: 2002-2008 (7yrs) & 20M USD
• Leading organization: KISTI
Service implementation and integration for production-
level Grid infrastructure Development of core Grid
middleware technologies Phase1
Phase2
Business applications (Rendering, GridASP, etc.)
Scientific applications (Molecular Simulation,
UHV-TEM, CFD, etc.) Phase1
Phase2
Grid Application Grid Application Grid Service Tech.
Grid Service Tech.
11
TIGRIS TIGRIS
TIGRIS TIGRIS
(T ( Terascale erascale I I nfrastructure for nfrastructure for K*GRI K* GRID D S Service) is ervice) is … …
Nation
Nation- -wide wide sustainable Grid Infrastructure sustainable Grid Infrastructure in in Korea providing
Korea providing production production- -level Grid level Grid services
services to national research and to national research and development processes
development processes
13
Seoul Seoul
The 4thSupercomputer (IA32,SGE)
KISTI
Daejeon Daejeon
Busan Busan KREONET KREONET
SNU
IBM BladeCenter JS20 (PPC970,LoadLeveler)
PNU
SGI Altix 1350 (Itanium-II,PBSPro) TIGRIS Portal &
Service Nodes
TIGRIS Major Resources
Resources:
Resources:
And others (miniTIGRIS)
15
TIGRIS Network Infrastructure - KREONET
KMI KMI
(K*Grid Middleware Initiative)
(K*Grid Middleware Initiative)
2005
17
20042005
2004 2008
2008 yearyearKMI-
KMI-R1 R1
KMI-
KMI-R2 R2
Core Core Middleware Middleware Toolkit (OGSI Toolkit (OGSI--
compatible) compatible)
MoreDream + MoreDream +
Other Other Services
Services
WSRF WSRF
OGSI OGSI
WSRF(GT4)
WSRF(GT4)- -
compatible
compatible
MoreDream
MoreDream
Transformation
2002
2002History of KMI
KMI KMI - - R2 R2
WSRF- WSRF -compatible compatible services & services &
useful
useful web portal web portal for the
for the reliable reliable grid service on grid service on the the heterogeneous heterogeneous resources of TIGRIS resources of TIGRIS
KMI KMI - - R2 R2
the reliable the reliable grid service grid service useful
useful web portal web portal
the heterogeneous the heterogeneous resources of TIGRIS resources of TIGRIS
19
KMI KMI - - R2 Software Stack R2 Software Stack
KMI-Based Grid System Architecture
GT4 HTTP
Web Server 큐잉 시스템
웹 모듈 웹서비스
클라이언트 모듈
GT4
로컬 어카운팅 서비스 그리드 미들웨어
HTTP / SOAP
HTTP / SOAP RIA
Interface 브라우저
로컬 파일관리 서비스 로컬 자원정보 서비스 로컬 작업관리 서비스
어카운팅 서비스 파일 관리 서비스 자원 정보 서비스 작업 관리 서비스
21
Job Submission and Management
Grid MPI Grid MPI Service Service Stage in
Stage in
Stage out Stage out
Clean up Clean up Execute Job Manager Job Manager
User
Global Global Scheduler Scheduler
Proxy management Proxy management
DBMS
MDS
MyProxy Server
File Management
Service
GT4 GRAM GT4 GRAM
Web Portal
Job Type?
Status Listener Status Listener
MPI
Simple / HTC
Job Monitoring &
Job Provenance
JSDL Job Submission
Resource Selection
Multiple Job Type Job Lifetime Extension
Job Submission and Management
그리드 사용자
작업 제출 선택
작업 제출 화면 출력
단일 다중 작업 선택
작업 제출 자원 예약
작업 내용 입력
자원 선택
그리드 사용자
작업 제출 히스토리 검색
작업 상태 DB 저장 작업 상태 모니터링
큐잉 시스템 작업 상태 요청
작업 제출 DB 검색
그리드 사용자
23
Grid MPI Service
MDS
Grid MPI Grid MPI Service Service
FORKFORK--GRAMGRAM
Job Submit
MPI Library Information
GridMPIFactory
GridMPIResource GridMPIService
PBS-PBS-GRAMGRAM
mconf PBS
Front Node Computing Node RSL
MPI Library Information (MPIcc, MPIrun, MPIconf MPIserver)
Computing Computing Resource Resource
store JSDL
create
User Web
Portal
Job Management
Service
RSL
Preparation Execution
DBMS
JSDL
GridMPI, PACX-MPI, OpenMPI, MPICH-G2
Compilation
Various MPI Libraries
File Management
File Browsing / File System Management
Direct File Upload/Download User
(Desktop)
Web Portal (Web Server)
Site A
File Manage
ment Service
Physical File Space
G
Site B
File Manage
ment Service
Physical File Space
G
Third Party Transfer (GridFTP, FTP, HTTP, SSH…)
WSRF(GT4 service)
25
Resource Monitoring and Information Service
Site A Site A
Information Provider
GT4 Container
WS-GRAM
MDS4 Index SGE
Hardware Info SW info
Site B
Site B Site CSite C
GT4 Container
WS-GRAM
MDS4 Index Load
Leveler
Hardware Info SW info
GT4 Container
WS-GRAM
MDS4 Index PBSPro
Hardware Info SW info
Information Provider
Job Management
Service
Resource Search
Web Portal
User DB
Resource Monitoring
Service Global-wide
MDS4 Index
Resource Monitoring Various Information
Sources
Resource Monitoring
통합 DB 그리드 사용자 관리자
실시간 자원 정보 검색 자원 정보 히스토리 검색
자원 정보 데몬
실시간 자원 정보 요청 노드 자원 정보 수집
XML 자원 정보 인식
Queue 정보
GRAM version, GRAM hostname, GRAM port/url, LRMS type, LRMS version, Total CPUs, Free CPUs, Queue status, Total jobs, Running jobs, Waiting jobs, Policy info
시스템 정보
Processor type, Processor speed, Total memory, Operating System, SMP size, Storage device name, Storage device size, Storage device available space
S/W 정보
name, version, path, description
grid-mapfile 정보
Subject DN <-> local account
27
Site A
Accounting
Query
Usage Records User
DB
Web Portal
Accounting Service
Accounting Thread Accounting
Manager
Local Accounting
Service
Site C
Local Accounting
Service
Site B
Local Accounting
Service
LoadLeveler PBSPro
SGE
OGF-standard Records
Accounting Statistics Various Queuing Systems
Accounting
Schema based on OGF UR-WG Schema
Properties Data Type
Base Properties
RecordIdentity string
GlobalJobId String
LocalJobId String
LocalUserId String
GlobalUsername String
JobName String
Charge Float
Status String
WallDuration Duration CpuDuration Duration
StartTime Timestamp
EndTime Timestamp
MachineName String
SubmitHost domain name
통합 DB 그리드 사용자 관리자
어카운트 과금 정보 검색
자원 어카운팅 데몬 어카운팅 / 과금
정보 처리
어카운트 과금 정책 관리
Accounting System Flowchart
29
TIGRIS Grid Service – All Together
Resource LayerCollective Layer Job Management Service
MDS
Accounting Service
UI Layer
Web Server
Global Scheduler
Site A GRAM ServiceFile MDS Accounting
Site C MDS ServiceFile
Site B GRAM ServiceFile MPI Job Service
Accounting
General Purpose grid Portal Using RIA Technology General Purpose grid Portal Using RIA Technology Functionalities
Functionalities
Job submission and management with job Job submission and management with job provenance
provenance
Remote file system browsing and management Remote file system browsing and management with third
with third- -party transfer party transfer
Resource monitoring Resource monitoring
Computing resource Computing resource usage accounting usage accounting information viewing information viewing
Proxy & certificate Proxy & certificate management with management with
MyProxy MyProxy
TIGRIS Portal
TIGRIS Portal
31
ASGC ASGC
NGO NGO AIST,KEK,NAREGI AIST,KEK,NAREGI
CNIC,IHEP CNIC,IHEP
UCSD UCSD
NECTEC,TNG
NECTEC,TNG APACAPAC
<KISTI Grid CA>
<KISTI Grid CA> <APGrid PMA members><APGrid PMA members>
Certificate
Certificate- -issuing authority for domestic grid users issuing authority for domestic grid users IGTF- IGTF -accredited Grid CA operation and accredited Grid CA operation and
management management
KISTI Grid CA KISTI Grid CA
※International Grid Trust Federation (IGTF)
※International Grid Trust Federation (IGTF)
-- Federated Grid authentication service
Federated Grid authentication service --3 regional Policy Manage Authorities (PMA) 3 regional Policy Manage Authorities (PMA)
Cyberinfrasturcture
Computing Resources User
Computing Resources LSPs set up/ release by
GMPLS 대전 GMPLS router
GMPLS router 10Gbps (OC-192) 2
optical channels in SMF
33
감사합니다
jaehahm@kisti.re.kr
CI 미들웨어연구팀 2008. 10. 30
Korea@Home Overview
차 례
Korea@Home 플랫폼 개요
Korea@Home 서버 구성
Korea@Home 에이전트 특징
Korea@Home VS BOINC
Korea@Home 플랫폼 개요
Korea@Home 플랫폼 개요
JobJobJobJob JobJobJobJob
Result
Result
Result
Result
ResultResultResultResult
Korea@Home 서버 구성
Korea@Home 서버 구성(1/4)
… …
K@H Platform
Korea@Home 서버 구성 (2/4)
… …
K@H Platform
K@H 서버
기능
K@H 서버
응용 파일 분배/저장
Korea@Home 서버 구성 (3/4)
… …
K@H Platform
DB 서버
기능
응용 및 사용자 관련 정보 저장
Korea@Home 서버 구성 (4/4)
… …
K@H Platform
Backup 서버
기능
응용 파일, DB등을 Backup
Korea@Home 에이전트 특징
Korea@Home 에이전트 특징
Korea@Home Agent
지원 OS : MS Windows
권장 사양 : Pentium III 500Mhz 이상
현재 버전 : 2.6.6
다운로드 : http://koreaathome.org
Korea@Home 에이전트 특징
작업창
응용 정보
작업 기록
Korea@Home 에이전트 특징
이용률창
CPU, Memory, Network 이용률 정보
Korea@Home 에이전트 특징
상태창
에이전트 정보
같은 응용 수행 에이전트 목록
K@H 정보
Korea@Home 에이전트 특징
설정창
실행 관련 설정 사항
수행할 응용에 대한 설정 사항
Korea@Home 에이전트 특징
공지사항창
기타 Korea@Home 관련 공지사항
Korea@Home VS BOINC
Korea@Home VS BOINC
BOINC
Korea@Home
Korea@Home VS BOINC
Server-Client Hybrid P2P
BOINC Korea@Home
Korea@Home VS BOINC
Server-Client Hybrid P2P
BOINC Korea@Home
Agent
• App1
• App2
… Server
Agent
App1 Server
App2 Server
Korea@Home VS BOINC
BOINC API .
Server-Client Hybrid P2P
BOINC Korea@Home
Agent
• App1
• App2
… Server
Agent
App1 Server
App2 Server