2. 기초과학 분야 대용량 실험데이터 활용
2.1
고에너지 물리 분야
2.1.1 CERN(European Organization for Nuclear Research) 실험
가. 실험 인프라 개요
❏ CERN 연구소 개요
◦ 스위스 제네바에 위치, 세계 최대의 입자가속기 보유. 입자 물리학의 세계적인 선도 연구소 - 전세계 24개국, 17,000여의 연구원 참여
❏ 주요 실험 장비
◦ 강입자 충돌기(LHC : Large Hardron Collider)
- 둘레 27 KM, 지하 100M의 터널에 구축. 양성자 빔은 13 TeV(테라 전자 볼트), 납 원자핵은 574 TeV로 충돌
◦ LINAC4(LINEAR ACCELERATOR 4), ISOLDE, PSB(Proton Synchronization Booster), 등 운영
❏ 데이터 인프라
◦ WLCG(World-wide LHC Computing Grid) 구축 운영
- 330PB가 넘는 누적 실험 데이터(2018년 말 기준)를 전세계에 분산 공유하고 다국적 연구원들이 공동으로 참여 분석할 수 있도록 WLCG 인프라 구축
- 대용량 데이터 전용 연구망인 LHCOPN(LHC Optical Private Network)을 직접 구축 운영 ◦ 2021년 5월부터 시작하는 LHC RUN3, RUN4 실험은 RUN2 실험보다 collision rate를
❏ 주요 실험 성과
◦ 세계 최초 반물질 일종인 반수소 입자 생성(1995) ◦ 모든 물질의 기본이 되는 힉스 입자 발견(2014) ◦ 힉스 입자 질량 및 결합력 측정(2019) ◦ 물질과 그 반물질의 비대칭성 발견(2019) ◦ 우주 물질의 구성 관련 표준 모델 연구❏ 융합 연구
◦ 자율 주행을 위한 소프트웨어 - 수십억 입자 충돌에서 분석에 필요한 유용한 데이터를 찾는 기술은, 정상적인 자율주행 상태에서 생성된 무한한 다중 데이터를 빠르게 해석하여 머신 런닝 기술에 적용하는 데에 활용 가능1) ◦ 차세대 이온 치료 센터 추진 - CERN 하드론(소립자의 일종) 치료 기술과 연계하여 암 치료분야 의료진과 협력에서 CERN의 초전도 기술, 의료용 선형 가속기 기술, 그리고 갠트리 기술기 기술을 활용하여 참여함 ◦ 양자 물리를 이용한 암호 기술 연구 - 독일의 GMBH사와 협력하여 보안에 민감한 데이터와 인프라를 보호하기 위하여 양자 암호 기술 연구 ◦ 암 분야의 데이터 검출 및 이미지 분석기술 연구 - 암의 임상 진단, 심장 치료, 그리고 신경학적 질환의 검출 및 이미지분석 기술의 개선을 위한 연구 수행 - CERN 실험 데이터의 확득 부분에서부터 전자 장치, 센서 그리고 소프트웨어 통합부분까지의 활용 방안 협력. EU Horizon 2020 프로그램의 ATTRACT 일환으로 추진에 참여 ※ ATTRACT(2019)과제는 유럽의 기초연구와 산업계를 연계시키는 선도성 시범 과제임) ◦ 대용량 데이터 중심 IT 인프라 기술- 스트리밍과 분석 서비스를 위하여 SWAN 통합(SWAN : Service for Web based ANalysis) - Machine Learning을 위하여 Spark에 기반한 물리 분야 활용 사례를 위하여 분산 딮러닝을
지원하는 full data pipeline을 설치 중
- 스트리밍 서비스를 위하여 multitenancy 연구 중, 주제 관리 및 e-group 지원을 위한 ACLs를 지원하는 self-service portal 서비스 이용을 장려 중
- 스토리지 서비스를 위하여 파일 전송 서비스(FTS v3.9)의 스케쥴러 성능을 개선함2)
- CEPH(free-software storage platform)서비스를 위하여 새로운 Nautilus 버전의 배치가 진행 중임. 블록 스토리지와 CephFS을 위한 서비스 최적화를 진행 중
- Run-3를 위한 3단계 준비 중. LTO(Linear Tape Open)를 100% 설치 완료 중. 테이프에 55PB 이하의 데이터를 저장할 수 있음
<그림 4> CERN의 주요 융합 연구 방향
◦ 주요 성과
- WWW(World Wide Web) 개발(1970)
2.1.2 페르미 연구소 실험
가. 실험 인프라 개요
❏ 페르미 연구소 개관
◦ 미국 시카고에 위치. PIP-II(Prototon Improvement Plan – II)를 통하여 페르미 연구소 가속기 연구 단지를 업그레이드 중
- 길이가 1300Km인 세계 최장의 뉴트리노(중성미자, 中性微子, neutrino) 실험 장치(LBNF : Long-Baseline Neutrino Facility) 건설 중
◦ 선도적 뉴트리노 선도 연구인 DUNE(Deep Underground NEUTRINO Experiment) 프로젝트에 30개국 190개 연구소에 1000명 이상의 연구원 참여 중
❏ 주요 실험 장비
◦ 세계 최장의 LBNF를 구축 중. 관련 구성 요소 장비로는 NOvA(뉴트리노 빔 생성), MINERvA (뉴트리노 scattering), MINOS(뉴트리노 oscillation) 등이 있음
상호 작용을 기록하고 1300Km 떨어진 다른 디택터에서는 양자붕괴 현상을 측정함 <그림 5> FERMI LBNF 실험 개념
❏ 주요 실험
◦ DUNE 실험 1 : 물질의 기원 연구 - 뉴트리노(중성미자)가 우주를 구성하는 물질이 반물질이 아닌 현재 우주를 구성하고 있는 물질로 이루어진 이유를 설명할 수 있는지 규명 - DUNE은 중성미자 진동현상을 탐구함으로써 중성미자에 대한 이해와 우주에서의 중성미자의 역할에 새로운 사실을 발견하고자 함 ◦ DUNE 실험 2 : 물질을 구성하는 입자들을 결합시키는 힘에 관한 연구 - 세계 최대 규모의 극저온 입자 검출기가 지하 깊숙한 곳에 위치해 있어 DUNE은 양성자 붕괴의 징후를 찾아낼 수 있음 - 이것은 물질의 안정과 힘의 대통일 사이의 관계를 발견할 수 있고, 아인슈타인의 이론을 확인 할 수 있게 할 것임 ◦ DUNE 실험 3 : 블랙홀 형성 연구 - DUNE이 은하수의 핵폭발 초신성으로부터 발생한 수천의 중성미자를 관측할 수 있게 함 - 이것은 새로 형성된 중성자 별의 내부를 관찰할 수 있게 하고 블랙홀의 탄생을 잠재적으로 목격할 수 있게 해줄 것임 ◦ 현재 및 단기 실험 계획- Neutrinos : Long baseline 실험으로는 NovA(최근 끝난 실험 : MINERvA, MINOS). Short baseline 실험으로는 MicroBooNE, ICARUS(2019), SBND(2020)
❏ 융합 연구
◦ 의료 기술 연구 - 가속기 기술을 이용한 의료 장비의 실시간 소독 기술 연구 - 비방사능 대체 기술로서의 실시간 의료 장비 소독 기술 연구 ◦ 환경 기술 연구 - 전자빔을 이용한 폐수와 하수 오물처리 기술 연구 <그림 6> 전자빔을 이용한 폐수와 하수 오물처리 기술◦ 적층 금속 제조(Additive Metal Manufacturing) 연구
- 페르미연구소에서는 포장된 도로 표면의 수명을 연장하는 기술을 연구함 - 도로의 변형된 아스팔트나 다른 접착제를 교차 포설한 후 이동식 트럭 장착 전자 가속기를 사용하면, 새로 건설된 포장 표면을 견고하고 오래 지속되는 물질로 변형시켜서 공공 도로와 공항 활주로의 수명을 크게 연장할 수 있음 ◦ 국가 보안에 활용 - 매년 20억 톤 이상의 화물이 미국의 항구와 수로를 통과함. 이들 항구의 상당수는 화물 검사를 위해 코발트-60 스캐너에 의존하고 있으며 코발트-60이 방사능이기 때문에 업계는 입자 가속기에 의해 생성되는 고에너지 X선을 사용하는 쪽으로 기울고 있음 - 개선된 가속기 및 검출기 기술은 특정핵물질(SNM)이나 무기 등이 선박이나 화물 컨테이너를 통하여 미국 항구로 들어오기 전 대기 거리에서 탐지하는 데 사용될 수 있음 <그림 8> 국가 보안 활용 ◦ 과학기술분야에서 컨테이너 컴퓨팅 이니셔티브 - 컨테이너 컴퓨팅은 이미 여러 서비스에서 사용 중 : FermiGrid/CMS Tier 1에서 현재 모든 배치 작업이 도커 컨테이너 내부에서 실행되고 있음 - 컴퓨팅 작업들을 서로 격리할 수 있고, 작업당 자원의 한계를 늘릴 수 있음. HAProxy 소프트웨어 로드 밸런서가 도커화되어 여러 서비스에 사용됨 ◦ 컨테이너 컴퓨팅를 위한 컨테이너를 제작, 테스트 및 저장하는 도구 : 기본 이미지에서 빌드할 서버 플랫폼. On-site Docker registry(VMWare Harbor). Harbor(VMWare)는 서버 간에 프로젝트 복제가 내장되어 있으므로 프록시 서버 뒤에 Active-Active 쌍이 있음. Jenkins를 사용하여 다양한 용도로 CI/CD 컨테이너 워크플로우 테스트 수행
2.1.3 KEK 연구소 실험
가. 실험 인프라 개요
❏ KEK 연구소 개관
◦ 일본 쓰쿠바 시에 위치. 세계 최고의 광도(luminosity)를 발생시키는 가속기(SuperKEKB)를 구축 운영 ◦ 26개 국가에서 113개 연구소 900여명이 KEK Belle2 실험에 참여❏ 주요 실험 장비
◦ SuperKEKB(전자와 양성자의 충돌을 세계 최대의 광도로 충돌시키는 입자가속기) - 원주가 3Km인 회전링 형태의 가속기로서, 7GeV로 전자를 가속시키고 4GeV로 양성자를 가속시켜서 충돌시키는 이중 링 구조의 충돌기임.◦ STF(Superconducting RG Test Facility), cERL(Compact Energy Recovery Linac), MLF(Materials and Life Science Experimental Facility) 등 운영
◦ 뉴트리노(Neutrino) 연구
- 가속기를 이용하여 뉴트리노의 질량과 혼합에 대해서 연구. 이를 위하여 일본의 두 도시인 토카이시와 카미오카시를 지하로 연결하는 295Km의 long based neutrino experiment 구축 ◦ B-Factory 연구
- 물질과 비물질 사이의 대칭성 규칙 위반을 연구. 가속기에서 생성된 대량의 B meson을 연구 ◦ hadron beam dynamics 연구
- 빔(Beam) 전송과 빔 광학을 연구함. 하드론 실험 장치에서 세계에서 최대의 intensity를 갖는 Kaon 빔을 생성하는 연구를 수행함
◦ CERN LHC 실험에서 ATLAS 실험에 참여 ◦ CMB(Cosmic Microwave Background) 연구
- 우주의 기원을 탐구하기위한 양자시공 물리학을 연구 ◦ 희귀 K-meson 감쇠 연구 - K-meson(Kaon)들이 변이하여 더 가벼운 입자들로 변하는 것을 측정하는 연구 ◦ 뮤온(Muon) 희귀 감쇠 모드 연구 - 기본 입자 표준 모델에서 금기시 되어 있는 뮤온의 희귀 감쇠를 찾는 방법을 통하여 입자 물리의 대통합 이론을 연구함
❏ 융합 연구
◦ 생명 과학 연구 - 단백질들은 많은 아미노산으로 연결되어있고 연결된 모양이 복잡한 방법으로 접혀서 연결 되어있음. 따라서 그 구조가 알려져 있지 않음- synchrotron radiation facility를 이용하여 단백질 구조를 빠르게 이해할 수 있음. 단백질 구조 파악은 단백질 기능을 관찰하는 것이므로 질병 발현 메카니즘을 이해할 수 있으며 신약 설계에 도움을 줌
◦ 방사선의 식물 반응 연구
- synchrotron radiation을 이용한 X-ray microbeam irradiation system을 이용하여 식물 세포를 하나 하나씩 식별할 수 있고 하나 하나의 세포마다 우리가 원하는 양만큼 방사능을 쪼일 수 있음
◦ 이산화탄소 프리 에너지
- 수소 밀집도가 서로 다른 세 가지 하이드라이드는 단위 격자의 각 면의 중심에 큐빅 금속 격자를 갖는 구조임
2.2
천체물리 분야
2.2.1 중력파 실험(Gravitational Wave Research)
가. 실험 인프라 개요
❏ 실험 주도 기관
◦ LVKG(LIGO, VIRGO, KAGRAm, GEO600이 참여하는 4대 중력파 관측소)가 협력하여 “중력파 탐지 전세계 네트워크”를 구축하여 협력함
❏ 데이터 인프라
◦ 데이터 공개
- LIGO는 미국 NSF의 DMP(Data Management Plan)규정에 따라 데이터를 공개하게 되어있음. 모든 보정된 변형률 데이터, 데이터 품질 플래그 및 하드웨어 주입 시간 데이터를 공개함. 공개는 6개월마다, 6개월 기간의 데이터 블록을 공개함
- 데이터 획득 후 통산 18개월의 대기 시간이 소요됨, 이는 협업으로 데이터를 검증, 보정 및 처리하는 시간인데 점점 줄어들 것을 예상됨
◦ 데이터 크기
- 펄사(Pulsar)는 자성 비대칭 중성자 별의 특별한 경우로, 우리는 별이 스스로 한 바퀴를 돌 때마다 주기적인 빛 섬광을 받음. 중성자 별의 관찰은 그들의 내부 구조에 대한 중요한 정보를 제공할 것임. 태양 인접지역과 우리 은하계에서도 중성자 별들이 방출하는 중력파를 탐색이 가능함
<그림 13> 알려진 펄사를 대상으로 중력파 측정 시도
◦ 버스트와 초신성 연구(Bursts and supernovae)
❏ 융합 연구
◦ 광열공통경로 간섭계(Photo-thermal common-path interferometry) 연구
- 비선형 광학 재료를 상업적으로 사용하기 위해서는 비선형 계수와 이륜성 이외의 성질을 측정해야 함. 이러한 특성에는 흡수, 표면 및 대량 손상 한계, 회색 추적 및 녹색 유도 적외선 흡수 등이 포함됨 - 가장 중요한 특성 중 하나는 간단한 광 흡수로 현장 초기에는 흡수가 컸지만 소재가 개선되고 흡수가 작아짐에 따라 보다 민감한 측정 기법이 필요해짐 - 시험 질량 기판에 대한 실리카와 사파이어의 성질을 정밀하게 비교하는 것은 훨씬 더 높은 감도의 측정 기법이 요구될 것임으로 LIGO에서 이온 빔 스퍼터 코팅의 흡수는 서브ppm 영역에 있기 때문에 이를 활용하는 연구 수행
◦ 적응형 레이저 빔 쉐이핑(Adaptive laser beam shaping) 기술 연구
- 열로 인한 레이저 빔의 전면 왜곡은 일반적으로 고출력 레이저 빔이 통상 투명한 광학 소자를 통과할 때 발생함. 소량의 잔류 광학 흡수는 광학 소자를 빔 강도가 가장 높은 곳에서 약간 가열됨 - 이 가열은 구성 부품의 열탄성 왜곡이나 굴절률의 열광학적 변화를 통해 파동 전면 오류를 발생시킴. 높은 레이저 파워와 빔 왜곡에 대한 극도의 민감성으로 인해 LIGO 팀은 적응형 레이저 빔 성형 기술을 개발함 - 이 기술은 국토 안보 기반 산업에 혜택을 줌. 고출력 레이저 시스템은 현재 유도 레이저 에너지 무기, 레이저 레이더, 고출력 레이저 시스템의 과학 및 연구 응용, 용접, 재료 절단, 홀드릴링 등 매우 다양한 용도에 사용되고 있음 ◦ 고전력 전자 광학 모듈레이터 기술 연구 - 레이저 계측학 및 기타 많은 과학적인 고출력 레이저 빔의 응용은 레이저 영역의 위상 변조를 필요로 함. 이전의 상용 위상 조절기는 빔 가열 없이 몇 와트를 초과하는 레이저 파워를 처리할 수 없어 레이저 빔의 열광성 왜곡을 초래함 - 어드밴스드 LIGO 모듈레이터의 기술은 고해상도 계측, 감지 또는 다양한 환경에서 새로운 애플리케이션을 가능하게 함. 새로 개발한 LIGO 기술 기반 전자광변조기(EOM)는 빔 성능 저하 없이 최대 200W의 연속 레이저 전력을 처리할 수 있음
◦ 빠른 변조 주파 변환(Fast chirp transform) 기술 연구
- LSC 데이터 분석 노력의 일환으로, 준주기적 신호의 검출과 생산을 개선하기 위해 FTC(Fast Chirp Transform)라고 불리는 알고리즘을 개발함. FTC는 다차원 고속 푸리에 변환(FFT)을 일반화한 것임. 경계 구간에 대한 위상 계수는 시간 영역 내 입력 신호의 시간 의존적 주파수 특성을 설명하는 위상 함수를 사용하여 계산함
◦ 대규모 분산 과학 커뮤니티를 위한 연합 ID 관리 기술 연구
2.2.2 초대형 우주 전파/광 망원경 분야
가. 실험 인프라 개요
❏ 실험 주도 기관
4)◦ LSST(large Synoptic Survey Telescope) Corporation
- 미국의 기업, 대학교, 연구소 등 22개소가 협력하여 LSST Corporation이라는 비영리 회사를 설립
- 주요 재정 분단 계획은 미국 과학재단(NSF) 2.42억 달러, 미국 에너지성 0.96억 달러, 비정부 기금 0.52억 달러
- 23개국, 40여 연구기관, 700여명이 참여
◦ ELT(Extremely Large Telescope) 유럽 초대형 망원경 - ESO(European Southern Observatory)가 주도함 - 14억 달러의 예산으로, 칠레 체로 아마조네스에 구축함 - 2017년 착공 2025년 가동
◦ GMT(Giant Magellan Telescope) 거대 마젤란 망원경 - 한국 천문연구원도 참여(1년 증 한 달 사용권 확보)
- 7억 달러(인텔 창업자인 무어 재단에서 지원), 칠레 라스캄파나스 , 1년 중 80%가 맑은 날씨인 사막 지대), 주변에 사람이 살지 않아서 어두운 천체까지 관측 가능
- 2025년 가동 예정
◦ TMT(Thirty Meter Telescope) 30미터 망원경
- 우주 지도를 제작, 암흑물질과 암흑에너지의 정체를 밝히며 다양한 천체를 관측하는 것을 목적으로 함
- 2015년도에 공사가 시작. 첫번째 시험은 2019년이고 실제 관측은 2022년부터 계획되어 있음
<그림 15> LSST 픽셀 카메라
◦ ELT(Extremely Large Telescope) 유럽 초대형 망원경
- 망원경은 5개의 미러로 구성되는데 며, 최대 구경은 39.3 미터로 1.4미터 거울 798개로 만듦
- 미러 3개는 축(anastigmat)에 설치되고 2개는 접이형 거울로서 적응형 광학 장치에 사용됨
◦ GMT(Giant Magellan Telescope) 거대 마젤란 망원경5)
- 구경 25.4 미터, 한국 천문연구원도 참여(1년 증 한 달 사용권 확보) ◦ TMT(Thirty Meter Telescope) 20미터 망원경
<그림 16> LSST 데이터 프로세싱 ◦ 누적 데이터의 크기 - 10년 동안 수집한 데이터의 총량은 약 60PB이며, 이 데이터를 처리하면 20PB 카탈로그 데이터베이스가 생성됨 - 데이터를 모두 처리하고 나면 총 데이터 볼륨은 수백 PB가 됨. 첫 번째 데이터 릴리즈에서 약 150TFLOPS(초당 수십억 개의 부동 소수점 운영)의 컴퓨팅 성능을 사용하여 처리 - 10년차 조사 종료 시의 Data Release 11에서는 950TFLOPS로 컴퓨팅 성능을 증가함 ◦ 데이터 인프라 : 데이터 관리 시스템은 3개 계층으로 구성됨. 인프라 계층, 시스템 소프트웨어 계층(미들웨어 계층) 그리고 응용 계층임 - 인프라 계층은 스토리지 및 네트워킹 하드웨어로 구성 - 미들웨어 계층은 시스템 소프트웨어, 분산 처리, 데이터 액세스, 사용자 인터페이스 및 시스템 운영 서비스를 처리함 - 응용 계층은 데이터 파이프라인, 제품 및 과학 데이터 아카이브를 포함 ◦ 데이터 서비스는 NCSA에서 제공
- Kubernetes, Qserv, HTCondor 등 서비스 제공
2.3
바이오 분야
2.3.1 ARGO(유전체 종양학) 실험
가. 실험 인프라 개요
6)❏ 실험 주도 기관
◦ ICGC(International Cancer Genome Consortium)
- ICGC는 전 세계 사람들의 다양한 형태의 암에 존재하는 유전적 변화를 해결하기 위한 공동의 프로젝트를 착수하고 조정함
- 37개국, 744개 기관, 1300여명이 ICGC- PCAWG(The Pancancer Analysis of Whole Genomes)에 참여하고 이중 8개국 17개 연구기관이 ARGO(Accelerating Research in Genomic Oncology) 프로젝트에 참여. ◦ ICGC ARGO 프로젝트 - 2040년까지 2750만건의 유전자 정보 수집 및 공유 목표 - 향후 10년간 백만명의 유전자로를 확장하는 것이 단기 목표임
❏ 주요 실험 장비
◦ 전가세계에서 등록된 20만명의 암환자(현재는 58,300명 등록) - 임상 및 주석이 잘 설명된 유전체 및 표현체 데이터 - 상기 데이터를 활용하여 특정 암 표현 - 암의 원인과 통제 방법에 대한 데이터 공유❏ 데이터 인프라
- ICGC Data Portal
- ICGC 데이터 포털은 컨소시엄의 회원 프로젝트가 분기별로 발표하는 데이터를 시각화, 쿼리 및 다운로드하는 도구를 제공
- ICAAGC 데이터 포털은 ICGC를 위한 주요 데이터 보급 플랫폼임. PCAWG 데이터를 데이터 포털로 가져오거나 인덱싱하여 데이터 검색/다운로드/탐색을 단순하고 효과적으로 수행함.
◦ PCAWG Xena Hub
- 2개 집단(Cohorts), 53 Datasets : PCAWG(donor centric)(26 datasets), PCAWG(specimen centric)(27 datasets)
◦ ARGO-RDPC(Regional Data Processing Center)
- ICGC Data Portal의 진화된 버전으로 지역 데이터센터와 결합한 데이터 포털로 전환 작업을 진행 중
<그림 17> ARGO 연구의 주요 요소
2.4
국내 동향
가. 포항 광가속기 실험
◦ 연구 내용 - 방사광 가속기는 전자가 자기장 속을 지날 때 휘어지면서 접선방향으로 빛(광자)을 방출하는 원리를 이용하여 물질의 구조를 파악하게 하여 구조생물학, 소재, 나노, 화학, 의료 분야에 활용 - 포항 3세대 및 4세대 방사광 가속기에서 제공하는 빔라인(3세대 30여개, 4세대 3-4개)에서 구조생물학, 화학, 재료, 물리 등 실험 장치들을 설치하여 방사광 빔을 활용하여 실험을 수행 ◦ 연구 시설 - 3세대 가속기는 1994년 완공됐으며 이어 2015년도에 4세대 가속기 완공 <표 1> 포항 3세대 방사광가속기와 4세대 방사광가속기 3세대(PLS-II) 4세대(PAL-XFEL) 분류 Light Source X-ray Free Electron Laser<그림 19> 초고해상도 전자현미경(KBSI)
◦ KISTI 지원
- 전자현미경을 통한 단백질의 구조 분석을 위하여, 프로젝트 하나당 생성되는 데이터량은 약 50TB정도로 데이터의 생성･관리･활용에 있어 스토리지 및 컴퓨팅 인프라가 매우 중요함 - KISTI는 국내 구조생물학자들을 지원하기위해 2028년도부터 364core 규모의 CPU와
GPU(NVIDIA P100 × 2ea × 3대)시스템을 지원함
- 오창 KBSI데이터 생산시설과 KISTI 데이터 분석･활용연구실 간 10Gbps 전용망(Science
- 2009년 9월 1일부터 한국연구재단의 선도연구센터(SRC)로서 선정되어 “한국중성미자연구 센터(KNRC)” 개소하여 연구를 진행 중 - RENO 실험 이후 새로운 중성미자 실험을 계속 추진할 예정 ◦ 연구 규모 - 영광원전의 원자로 근처에 길이 100m와 300m의 터널 구축(50억원). 450톤 규모의 중성미자 검출기 2대 설치(56억원) 70m high 200m high Near Detector Reactors 70m high 200m high Near Detector Reactors <그림 20> 중성미자 지하검출시설 구축 개요 - 원자로에서 방출되는 중성미자의 검출시설을 구축하여 실험(2010년 6월 완공, 2025년까지 운영 예정) - 향후 지속적인 증성 미자 연구를 위해 세계 최고 수준의 초대형 우주 중성미자 망원경을 현재의 시설보다 20배 크게 나주 금성산에 구축하거나 일본과 협력하여 한일간 공동으로 중성미자 연구장치로서 3세대 카미오칸데로 하이퍼카미오칸데를 한국 설치하는 것을 일본의 노벨 과학자 카지타 타카아키와 협의중. 한국에서는 이를 가칭 한국중성미자관측소(KNO, Korean Neutrino Observatory) 구축으로 계획 중
3. 대용량 실험데이터센터의 인프라 기술
3.1
주요 대용량 실험데이터센터의 인프라 기술 동향
가. 스위스 CERN 데이터 인프라
❏ CERN 개요
◦ 1954년 23개국이 참여하여 설립 ◦ 현재(2020) 기준 세계 최대 입자물리 연구소 ◦ 2500여 스태프 근무, 17000여명 이용자 지원❏ CERN IT 부서 미션
◦ CERN 연구소가 고유 미션을 달성하도록 지원함 - Meyrin 사이트에 있는 main data center 운영- 23ms 전송 지연 시간을 갖는 부다페스트에 있는 Wigner 데이터 센터 운영 - 양 데이터 센터를 3개의 100Gb/s 전용망으로 연동
- 양 데이터 센터의 자원들을 서비스하고 재난 복구함
❏ BATCH, HPC 그리고 CERNMegabus 측면
◦ CERN CentOS 7으로의 Batch 서비스 migration이 99% 진행
- LSF(스케쥴러)는 철수되었음 : 현재 HTCcondor가 모든 배치 서비스에 작업 중 - 컴퓨팅 자원 활용률을 높이기위하여 backfill work(재할당 작업)이 진행 중 ◦ Wigner 데이터 센터에 있는 배치 서비스 자원들은 2019년 말에 철수할 예정
- HPC 작업의 대부분은 윈도에서 리눅스로 이동됨 : MPI 응용을 위해서 SLURM(Simple Linux Utility for Reseatch Management) 지원. 단일 노드에 HTCondor과 큰 메모리 응용 지원
◦ CERNMegabus
- CERNMegabus 파이썬 라이브러리를 stomppy-4..1.21로 업그레이드 함
- 다른 UPS 발전을 이용할 수 있게 하기위해 Power Cut Event를 위한 의사결정 프로세스를 재설계함
❏ 모니터링 측면
◦ CERN 클러스터 모니터링 프로젝트인 레몬(Lemon) 프로젝트를 단계적으로 중단함 - 레몬에서 Collectd로의 이전이 완결되었음 - Collectd 데이터는 MONIT 인프라 안에서 통합됨, 레몬은 2019년도 9월말에 종료 ◦ IT 서비스 측정- 서비스 KPI와 SLI를 수집하기위하여 새로운 MONIT 워크플로우가 설치됨 ◦ ATLAS와 CMS 모니터링 전환
- 구형의 ATLAS 데이터 관리, ATLAS 작업 계정 관리, 그리고 CMS 작업/타스크 모니터링 대시보드를 MONIT 인프라로의 전환은 완결되었고 구형 인프라는 철수하였음
◦ 메시지 시스템을 오픈 소스로 전환
- 오라클 자바 + 레드햇 A-MQ에서 OpenJDK + 오픈 소스인 ActiveMQ로의 전환을 진행 중
❏ 스트리밍과 분석 서비스 측면
◦ 하둡(Hadoop)
- 현재 설정은 120개의 물리적 머신, 30TB 램, 4,000개의 코어, 26PB의 스토리지임 - 모든 모니터링은 Collectd에 기반한 중앙 서비스로 이관 중, 가장 큰 오라클 DB인 가속기
logging 정보(1PB)에 대한 데이터 이관 중 내년에는 전부를 이관 예정 ◦ SWAN 통합(SWAN : Service for Web based ANalysis)
- Spark computation를 Kunernetes 클러스터로 넘길 수 있음, SWAN 서비스를 Kubernetes에 돌아가도록 설치 작업을 진행 중
◦ Machine Learning
- Spark에 기반한 물리 분야 활용 사례를 위하여 분산 딮러닝을 지원하는 full data pipeline을 설치 중
◦ 스트리밍 서비스(kafka) multitenancy
❏ 데이터 베이스 서비스 측면
◦ 오라클 데이터 베이스 - 버전을 11g/12c에서 18c/19c로 업그레이드 중 ◦ 웹 로직(Weblogic) - VM에서 Kubernetes로 전환이 시작되었음. 버젼 12.2로 업그레이드 준비 중 ◦ 오라클 클라우드 평가- 오라클 클라우드에서 전적으로 제공되는 open days ticketing application을 개발하였음 - Angular application을 Kubernetes로 구동하였음, 오라클 데이터 베이스는 Autonomous
Transaction Processing을 제공되었음 - 오라클은 Geant 프로젝트와 동의서에 서명을 하였음. 곧 모든 Geant 사용자들은 오라클 클라우드에 “fast track 연결 서비스를 갖게 될 것임
❏ 스토리지 측면
◦ Wigner Tier0 데이터센터는 해체 중 - 90PB의 EOS용량은 지금까지 68PB가 전송/ 복제되었고, 앞으로 12PB가 남았음, Ceph 용량은 전체가 2PB임 ◦ 파일 전송 서비스(FTS v3.9) - 스케쥴러 성능이 개선되었음, 부하가 걸렸을 때 스케쥴링 latency를 10~15%를 감소시킴 ◦ CTA(Consolitated Tape Association) 통합 관련하여 몇 개의 개선이 이루어졌음 ◦ XrootD v5.X- multi stream 전송에서 의미있는 성능이 이루어짐, TLS기반 root/xroot 프로토콜이 완성되었음
❏ 디스크 스토리지 측면
◦ EOS(디스크 기반 스토리지 서비스)
- 기존의 확장성에 FUSE X clients를 위하여 새로운 name space 기술을 배치하였음 ◦ AFS(앤드류 파일 시스템)
- 업스트림에서 서비스 폐기에 대한 부담 감소, 감소 지속 ◦ CEPH(free-software storage platform)
<그림 24> EOS 기능
<그림 25> Ceph 데이터/스토리지 서비스
❏ Tape 측면
◦ LTO(Linear Tape Open) 100% 설치
◦ Run-3를 위하여 3단계 준비 중
◦ CTA 인증을 받았고, LHC instance를 위하여 CASTOR에서 전환을 준비 중
<그림 26> 데이터 & 스토리지 서비스 활용 예시
❏ Computing Facilities 측면
◦ 조달: 2019년 6월의 의결8)에 따른 스토리지 입찰, 그 결과 2019년 가을 동안 도입 자산
- 192 JBODs(Just Bunch Of Disks), JBOD는 각각이 24개의 디스크 드라이브(12 TB)이어서 총 55PB 이상 제공 - 6월의 의결에 따른 컴퓨팅 장비 입찰 결과 2019년 가을 동안 도입되는 자산은 708개의 서버 - 2019년 9월의 의결에 따른 스토리지와 컴퓨팅 장비는 향후(본 자료의 작성 시점이 2019년 가을임) 18개월 동안 유효한 6배의 일괄 계약이 시행예정 ◦ Wigner Tier 0에서 하드웨어 철수는 잘 진행되고 있음 - 1772개의 서버 + 320개의 디스크어레이와 160개의 프론트엔드 서버, 모든 CPU 서버들은 하나의 LHCb 컴퓨터 모듈에 설치되었음 - 최종 batch 작업이 종료되었고 2019년 10월에 철수를 위하여 준비 중에 있는 장비는 CPU 서버가 636개, 디스크 어레이가 120개 그리고 프론트엔드 서버가 60개 임 - 남아 있는 용량으로 인하여 배치 큐는 11월1일에 멈출 예정임
❏ 네트워킹 측면
◦ LHCONE 커뮤니티 확장 가능성
- CERN과 Fermilab은 “DuneOne” 네트워크를 설치 할 것임
- CERN 팀이 적절한 VFRF에 공유 자원을 동적으로 할당하는 옵션 기술을 연구할 것임 ◦ 데이터센터 네트워크 - 용량과 유연성 그리고 백업 능력을 위하여 업데이트하고 있음 - 시험용 WDM 설치를 포함하면서 point 8에 있는 LHCb 콘테이너에 IT 서비스를 지원하기 위하여 확장 중에 있음 ◦ NOTED 프로젝트 일환으로 전송 브로커를 개발함 - 외부로 나가는 그리고 지속적으로 전송되는 정보를 수집하는 브로커 개발 - 향후 SDN 네트워크 연결 최적화를 기본 도구로 활용하기 위함
❏ Wi-Fi pilot 측면
◦ CERN IT 스태프들을 위하여 일종의 최신 와이파이 pilot 연구가 진행중 - 이동 통신 장비와 NUC들이 계층화된 네트워크 케이블에 연결이 허용되어 있지 않음 - 150개 이상의 이더넷 연결장비가 기본 연결 장비로 더 이상 이용되고 있지 않음 - 지금까지 인식된 이슈로는 외이파이로 리눅스 시스템을 설치하는 것이 불가능 하다는 것임❏ CERN OPEN DATA, REANA(재분석) 그리고 CDS(CERN 문서 서버) 측면
◦ CERN Open DATA
- CMS 데이터가 2019년 7월 18일에 Machine Learning을 위해 개방형 데이터로 출시됨. CMS의 개방된 총 데이터는 2PB가 넘으며 개방된 데이터는 Machine Learning 또는 Data Science에 사용을 위하여 특별히 준비한 데이터셋도 포함하여 출시함
◦ REANA-버젼 0.5.0 출시
- 작업 파일들에 연결된 대화형 쥬피터 노트북을 구동시켜서 워크 플로우 결과를 조회하는 것을 지원
- 지금 지원되는 것으로는 백엔드로 계산되는 HTCondor, Hybrid HTCondor- Kubernetes workflow, prive data에 접근하기위한 Kerberos 같은 User Secrets임
◦ CERN 문서 서버(CDS)
- Open Source Library Loan과 Book Search software의 새로운 버전을 위하여 현재 진행 중인 개발 작업이 마지막 단계에 있음. UI 및 작업 전환(Migration)작업이 진행 중
❏ Digital Memory Project, Invenio(대규모 디지털 리포지터리),
그리고 Zenodo(범용 개방형 리포지터리) 측면
◦ Digital Memory Project
- Digitization을 위하여 565개의 new video tapes, 580개의 audio tapes 그리고 8000개의 음화(negatives)가 다양한 스캔닝 회사에 보내짐. 2442개의 video tape 이미 처리됨. 이는 즉 1860개의 파일들이 검사되었고, 1000명 이상의 사람들이 식별되고 그리고 1175개의 공개 비디오와 185개의 restricted video들이 CDS에 저장됨
- WIPO와 CERN 협력으로, 영어로 된 HEP 컨퍼런스에 적용된 Text Transcession AI 툴을 말하기 위해 GPU 서버 실행하여 400개 비디오 자막 준비
◦ Invenio
- IncenioRDM(Research Data Management)은 11개 이상의 파트너들과 시작함(높은 관심 으로 파트너 수가 증가하고있음). Invenio User Group Workshop이 Open Repositories 2019 conference에서 개최됨
◦ Zenodo : 글로벌 로드맵 발표
- 데이터, 소프트웨어 그리고 기타 작품들을 견고하고 통일된 방법을 제공하기위한 협업 협정서에 DRYAD와 ZENODO는 서명을 함
나. 독일 KIT – Gridka 데이터 인프라
❏ Tier-1 배치 시스템 및 컴퓨팅 노드 및 워크 노드(CEs & WNs)
◦ 2017년 3월 이후에는 HTCondor만 서비스 : MC/SC(Multi Core / Single Core) 스케줄링 및 조각 모음의 지속적인 최적화 진행 중. TLAS 파일럿이 비어 있는 문제 → aCT(Advanced Resource Connector Control Tower)와 함께 확인.
◦ ARC(Advanced Resource Connector) CE : 2017년 여름까지 많은 안정성과 확장성 문제 있었음. ALICE 및 LHCb 실험을 위해서는 패치가 필요함
❏ Tape 시스템
◦ Oracle사 재품 SL8500 2개, IBM 사 제품 TS3500 2개
- 20개의 T10K-D, 17개의 T10K-C, 5개의 TS1140, 5개의 LTO-5. T10K-C 드라이브에 몇 가지 문제가 있는 데 "쓰기 효율성 부족", "롤러 고착", 1000여대의 카트리지가 영향을 받음. 그리고 최신 펌웨어 빌드에서만 모니터링됨
◦ Tier-1에서는 TSM(Tivoli Storage Manager)을 사용하고 있고 HPSS 마이그레이션 준비 중 ◦ LSDF(Large Scale Grid Faclity)
- 재해 복구를 위해 TSM에서 GHI(GPFS-HPSS–Interface)로 전환 중
❏ Network
◦ 이중으로 WAN 연결을 위한 2개의 경계 라우터(Cisco Nexus 7010/7710)
- 2x 10G~CERN, 2x 100G~LHCONE/OPN/GPI. 2018년 CERN으로 100G(+20G 백업) 연결
◦ 4개의 내부망 패브릭용 라우터(Nexus 7010/7710)
- 워커노드(WN)는 10G 지원. 각각의 WN 랙은 패브릭 익스텐더를 통해 40G로 1개의 라우터(백업 없음)에 연결됨
◦ 최근 설치한 40G를 지원하는 파일 서버는 Nexus 5696Q(TOR 스위치)에 연결. 이 ToR 스위치는 이중화된 4x100G 업링크를 2대의 Nexus 7710에 연결되어 있음 ◦ 이전부터 사용하였던 구 파일 서버는 1x/2x 10G를 사용하여 하나의 라우터에 연결됨(백업 없음)
❏ 온라인 스토리지 시스템
◦ 2016년 말에 새로운 스토리지 시스템을 설치하였음 : GridK에 20PB 할당, LSDF에는 6PB 할당 ◦ 2017년 4월부터 서비스 중. 2018년 여름에 2.7+2PB를 확장하여 설치. 그리고 11+2.2PB를 확장을 위항여 주문 예정(2018년 가을 기준) ◦ 시스템 통합사로 NEC 선정❏ 스토리지 시스템 하드웨어
◦ Tier-1용으로 23PB 스토리지 시스템 구성 ◦ 13대의 NEC SNA660(NetApp E5600) 운영
- 300개의 8TB HDD 운영. 백업 지원하는 액티브-액티브 컨트롤러 2대. RAID-6 대신 디스크 DDP(Dynamic Disk Pool) 60개 운영
◦ GPFS 메타데이터용 NetApp E2800 2대 운용
- 1.6TB SSD(Solid State Disk) 29개 운영, 백업 기능이 있는 중복 액티브-액티브 컨트롤러 (RAID-1) 2대 운영
◦ NSD 서버 16대(20개 코어, 128GB RAM) 운영
- 디스크 콘트롤로는 SAS(Serial Attached SCSI), 프로토콜 노드에는 FDR(Fourteen Data Rate : 14Gbps) 인피니밴드(IB) 사용 ◦ 백업 기능이 있는 2대의 non-blocking 제품으로 Mellanox FDR IB 스위치 12개 사용 ◦ NFS/dCache/xrootd 용으로 44대의 프로토콜 서버(20 코어, 128G 램 지원) 운영. NSD 서버까지는 FDR IB지원, WNs/WAN 따지는 40G 이더넷 지원 ◦ 벤치마크 성능 : 70GB/s 속도의 쓰기 + 읽기 지원 <그림 27> 온라인 스토리지 시스템 레이아웃
❏ GPFS Setup
◦ 메타데이터 4copies 복제 서비스◦ VO당 1개(또는 2개) 파일 시스템 서비스 - ATLAS 8.6PB, ALICE 5.9+0.66PB, CMS 5.3PB(LHCb는 다른 스토리지 시스템을 사용함). 과거의 운영 경험에 따라 VO 워크로드 분리 수행 ◦ NSD 서버 클러스터 - 모든 파일 시스템을 호스트 함. 16대의 서버를 두 대의 서버를 통해 각각의 NSD 서버에 액세스 가능 ◦ VO당 "프로토콜 서버" 클러스터 1세트 운영. VO 당 8-10대의 서버 구성 - GPFS로 VO 파일 시스템을 원격 마운트함. NSD 서버와 dCache/xrootd 서버를 분리하였음
❏ GPFS 상의 dCache/xrootd
◦ 서버당 1개의 dCache 풀 구성 / VO당 8-10대의 서버 구성 - mover 제한을 최상으로 조정한 것임(현재 관련 튜닝 작업은 거의 없음). 향후 해결 할 과제로는 dCache 풀(pool)당 ATLAS 데이터 1PB를 60분 소요하는 것을 → 6시간 이내로 dCache 풀(pool)들이 r/w 하게 지원하는 것을 목표로 함◦ xrootd SE당 파일 시스템 1개 구성
- 개별 네임스페이스 디렉토리(oss.space + localroot)를 삭제할 수 있음 ◦ 데이터 마이그레이션
- 1단계 : ATLAS/CMS/Belle의 dCache를 통해 자동 처리; 최대 6.5PB를 1개월 이내 이동 - 2단계 : ALICE xrootd 데이터의 rsync 작업; 최대 4.5PB 이동. 파일 크기로 인해 매우
천천히 이동
- 3단계 : LHCb의 dCache를 통해 DDN(Data Direct Network) SFA12K(Storage Fusion Architecture 12K; 일종의 블록 스토리지를 나타냄) 기반 스토리지로 자동 이동
◦ 13.5PB의 이전 DDN 스토리지가 2017년 말까지 전환되어 활용될 예정임
다. 영국 RAL 데이터 인프라
❏ RAL(Rutherford Appleton Laboratory) Tier-1 개요
◦ 180명의 스태프와 7500명의 사용자 애플리케이션 개발 및 지원, HPC & HTC 컴퓨팅 및 데이터 시설, 시스템 관리, 데이터 서비스, 수치 분석, 소프트웨어 엔지니어링
◦ JASMIN(RAL 슈퍼컴퓨터 이름) : 기후와 지구시스템 연구를 위한 데이터집중형 컴퓨팅 지원
◦ DAFNI(Data and Analytics Facility for National Infrastructure) : 국가 인프라의 분석, 모델링, 그리고 시뮬레이션을 위한 허브 ◦ Daresbury 연구소에서는 계산 과학 및 계산 엔지니어링 수행 : 생물학과 생명과학, 이론 및 계산 물리학, 계산 화학, 엔지니어링 및 환경
❏ RAL Tier-1 하드웨어
◦ CPU : 최대 316k HS06(최대 31.5K 코어) ◦ Castor(CERN의 계층형 스토리지 관리 시스템)에서 disk-only 형태로 운영 중 - 최대 550TB 보유 : 철거작업 중으로 2019년 4분기 말에 전환 목표 ◦ Ceph(무료 소프트웨어 스토리지 플랫폼) - 최대 43PB 원시 데이터 저장, 최대 31PB 가용 데이터 저장 가능 ◦ VMWare - 10 노드 클러스터, 2개의 스토리지 어레이, iSCSI 지원 ◦ 테이프 - 10k 슬롯 SL8500(시스템에 2개 중 1개) : 80PB 용량(T10KD), 최대 52PB 물리 데이터 (토탈 최대는 110PB). 시스템에서 최대 70대의 T10K-B/C/D 드라이브 지원. 시간당 평균 최대 110개의 테이프 마운트 지원 - 스펙트럼 로직 Tfinity 7프레임 라이브러리 : 마스터 프레임 1개(드라이브 베이 포함)-엔드 유닛 2개, 드라이브 프레임 1개, 미디어 프레임 3개. 550개의 챔버, 각각 10개의 LTO 또는 9개의 TS1160 미디어, 60PB 미디어가 설치됨 - 드라이브: 17 × LTO8 드라이브(테스트/검증/예비용으로 1개). 16 × TS1160 드라이브 - 지금 막 운영 중인 경우까지 포함할 경우 최대 300TB ◦ 2019/20년 스토리지 및 컴퓨팅 장비 구매 진행 중❏ Castor 장비
◦ 지난 6개월(2019년 상반기) 현황- LHCb는 2019년 5월 7일 완료 - Alice 데이터는 2019년 4분기 말 종료 예정 - 새로운 테이프 캐시 pool이 현재 풀 프로덕션 레밸의 서비스 중 - 2019년 5월 초까지 모든 사용자 마이그레이션 하였음
❏ Echo 스토리지
◦ Tier1 객체 스토리지(및 기타 사용자)를 위한 빅 Ceph 클러스터 - 지연 시간 대비 밀도 및 처리량은 EC 8+3 과 64MB Rados 객체 지원 - Tier1을 위하여 21PB 지원하고 가용 용량은 31PB임 - 안정적으로 서비스 중이며 주요 장애는 없었음 - Luminous. Mimic으로 업그레이드는 필수 버그 수정으로 보류 중- OSD(Object Storage Devices) 데이터 밸런싱 관련 이전 문제는 업맵(upmap) 밸런서를 이용하여 완전히 해결함
❏ 배치 시스템
◦ 약 316,000 HS06 성능을 제공하는 800개 이상의 노드에 걸쳐 31,500개의 슬롯 제공 ◦ HTCondor 지원 - 유지 관리 중인 Docker 컨테이너 이미지 내에서 작업 시작 - 기본 OS에서 실행 환경 분리. 작업 실행에 사용할 수 있는 CentOS 8 이미지와 비숫함 ◦ SCD(Scientific Computing Department) 클라우드에 보급을 자동화하고 정상적으로작동함. 일반적으로 600개 이상의 코어 그리고 종종 1200~1800개 코어까지의 SCD 보급을 자동화함. 서비스를 위한 GPU 제공에도 활용됨
◦ Argus(인증서버)를 통한 중앙 서스펜션(보류, 유예 등)이 모든 서비스에 적용됨
❏ SCD(RAL의 Scientific Computing Department) 클라우드
◦ 현재 Scientific Computing 부서 내의 새로운 그룹 내의 클라우드 활동은 사용자에게 동적 인프라 및 클라우드 서비스를 제공하는 데 주력하고 있음
◦ OpenStack을 기반으로 IaaS 플랫폼을 구축함
◦ STFC(Science and Technology Facilities Council) 및 외부에서 과학자에게 동적 컴퓨팅 리소스 제공
- LSST(Large Synoptic Survey Telescope), EUCLID(은하계 연구 과제), AENES(Advanced European Network of E-infrastructures for Astronomy with the SKA), UKAEA (United Kingdom Atomic Energy Authority) 지원
- IS(neutron source), DLS(Diamond Light Source), CLF(Central Laser Facility), ASTEC (Accelerator Science and Technology Centre), UKATC(UK Astronomy Technology Centre), RALSpace(우주선 연구), Hartree(가상 엔지니어링 센터) 지원
❏ 네트워킹
◦ IPv6 이슈
- Tier1 방화벽 바이패스 현재 100Gb/s 사이트 경계 라우터에 직접 연결되었지만 40Gb/s로 서비스 됨(IPv6 패킷 손실 문제를 해결하지 못함)
- JANET(2019년 9월)에서 불량 라우터 카드를 발견하고 교체함(이로 인해 Tier2들의 IPv6 문제 해결)
- Tier1 사이트-내부 IPv6 트래픽에 문제가 발생한 후 사이트 코어 스위치 중 하나가 재부팅됨. 이 때문에 T1에서 PPD(Particle Physics Department)-T1 트래픽에 대한 나머지 문제가 해결 ◦ GridPP는 영국의 PerfSonar 인프라를 업데이트하기 위해 새로운 표준 하드웨어 구성을 개발 중이며 커뮤니티의 협력을 요청함
라. 미국 페르미 랩 데이터 인프라
❏ 페르미 랩 개요
◦ 미국에서 유일한 HEP 전용 연구소- 1967년 창립, 시카고 서쪽 위치, 대표 성과로는 bottom quark(1977), top quark(1995), tau neutrino(2000) 규명
- 연구 프로그램을 빛(intensity), 에너지, 그리고 우주 경계로 확장 중 : 짧은 기준선(short baseline)과 긴 기준선(long baseline)에서 중성미자 실험을 하고 Fermilab 중심으로 정밀 뮤온(Muon) 실험을 수행함
◦ 페르미연구소 가속기 복합단지
- Main Injector : proton 에너지가 120GeV, Booster : proton 에너지가 8GeV
❏ 현재 및 단기 실험 내용
◦ Neutrinos
- Long baseline 실험으로는 NovA(최근 끝난 실험 : MINERvA, MINOS). - Short baseline 실험으로는 MicroBooNE, ICARUS(2019), SBND(2020) ◦ 정밀 뮤온 물리학 : 뮤온 g-2, Mu2e(2021)
❏ 페르미 연구소 전산 설비
◦ 파인만(Feynman) 컴퓨팅 센터(FCC) - 전산실 2개 각각 0.75MW의 공칭 전력과 냉각 지원. 발전기 백업이 포함된 UPS 지원, 전력 의존도가 높은 대부분의 서비스 지원. 중앙 서비스(이메일, 웹), 대부분의 Disk 서버, 비 CMS 실험을 위한 Primary 테이프 스토리지 ◦ 그리드 컴퓨팅 센터(GCC) - 3개의 전신실 각각 공칭 0.9MW 냉각 설비 및 전원을 지원함 - UPS를 사용하지만 제너레이터 백업은 없음. 대부분의 컴퓨팅 서버 및 CMS 테이프 스토리지를 운영 중 ◦ 두 센터 사이를 총 600Gbps 링크로 연동하여 운영함❏ 분산 컴퓨팅
◦ 페르미그리드 : 모든 빛의 강도 관련 선도 연구(IF : Intensity Frontier) 와 기타 비CMS 실험 지원(~19k 코어, ~200kHS06 지원) ◦ CMS Tier-1 및 LPC - 미국 CMS 연구자를 위한 분석 전용 LPC(LHC Physics Center) 클러스터(~27k 코어, ~285kHS06 지원). 일반적으로 중앙 CMS(Tier-1)용으로 LPC에 5k-7k 코어 할당 ◦ 래티스 QCD, 미국 LQCD에서 사용하는 HPC 리소스 지원 - 최대 19k 코어를 추가하는 다양한 클러스터 지원. 80 테슬라 M2050 GPU 지원 ◦ 실험에 의한 OSG(Open Science Grid) 자원을 상당량 이용함
◦ 테스트/개발을 위하여 대화형으로 자원 지원. 대부분 VM을 테스트 실험에 따라 할당
❏ 컴퓨팅 자원 및 액세스의 발전
◦ 미래 수요를 고려했을 때, 전용 형식의/로컬에 설치된 리소스는 부족할 것으로 예상됨 - "비전통적" 리소스(HPC, GPU/가속기)에 대한 수요 및 가용성 증가 예상 - 물리적 리소스와 할당된 기능 간에 정의되어 있는 현재 링크 방법에서 벗어날 필요가 있음 - 논리적 워크로드 설명으로 전환하고 작업 특성을 충족하는 리소스와 매치시킬 필요가 있음 ◦ 사용자를 위한 과학 게이트웨이 제공 - HEPCloud로서 요구 사항/제한 사항과 함께 작업이 제출되면 의사결정 엔진으로 리소스 매칭을 수행❏ 페르미랩 HEPCloud
◦ 의사 결정 엔진이 작업 요구 사항에 따라 지능적으로 리소스 요청을 생성함 ◦ HPC(NERSC) 리소스 및 클라우드(아마존, Google) 자원을 공략함 ◦ 새로운 자원을 사용하기 위한 실험들은 조절되어야 함 - 운영과 실험이 서로 협응하고 있는 지 확인하기 위해 조정 작업이 필요함. 신규 자원의 예산이 책정되거나 할당되면서부터 주의를 기울여야 함❏ 컨테이너 컴퓨팅 이니셔티브
◦ 컨테이너 컴퓨팅은 이미 여러 서비스에서 사용 중 - FermiGrid/CMS Tier 1에서 현재 모든 배치 작업이 도커 컨테이너 내부에서 실행됨. 작업들을 서로 격리하고 작업당 자원의 한계를 늘릴 수 있음. HAProxy 소프트웨어 로드 밸런서가 도커화되어 여러 서비스에 사용됨 ◦ 컨테이너를 제작, 테스트 및 저장하는 도구- 기본 이미지에서 빌드할 서버 플랫폼. On-site Docker registry(VMWare Harbor). Harbor (VMWare)는 서버 간에 프로젝트 복제가 내장되어 있으므로 프록시 서버 뒤에 Active-Active 쌍이 있음. Jenkins를 사용하여 다양한 용도로 CI/CD 컨테이너 워크플로우 테스트 ◦ 여러 사용자를 위한 컨테이너 관리(managing)/조정(orchestration)
◦ CMS 개발자들이 최대 100개까지의 구형 작업 노드를 가지고 실험하기위해서 훨씬 더 큰 OKD 클러스터 설치를 시작하려고 함 ◦ 컨테이너 관련 서비스 및 인프라에 대해 다른 기관과 논의 및 협력하는 데 관심이 있음
❏ Fermilab 스토리지
◦ 2018년 6월 이전까지 모든 테이프 라이브러리를 Oracle/스토리지(테크 SL8500 : 7*10k – 슬롯) 사용 - T10KC, T10KD, LTO4 드라이브 조합으로 구성. 125PB 동적 스토리지. Enstore에서 관리 ◦ dCache를 통한 Disk 스토리지를 우선 제공함❏ 페르미랩 인증서
◦ OSG CA는 작년에 종료
- Fermilab은 새로운 IGTF 인증 CA를 찾아야 함
◦ InCommon은 신뢰 연합(Trust Federation)이며 회원에게 CA 서비스를 제공함.
- InCommon도 IGTF 인증 CA 서비스 제공. 매우 합리적인 비용으로 뛰어난 서비스 제공 ◦ 당사의 모든 서비스 인증서를 InCommon IGTF CA로 전환하는 과정
- 2019년 4월 전환 시작, 5월 중순 종료
◦ 다른 CA인 CILogon Basic CA를 통하여 인증을 받기 때문에 개인/사용자 인증서에 영향을 미치지 않음
- InCommon 전환이 완료되면 사용자 인증서를 IGTF 인증과 함께 제공되는 CILogon Silver
CA로 업그레이드할 계획임9)
마. 일본 KEK 데이터 인프라
❏ SuperKEKB : e+e_intensity frontier
◦ 광의 세기를 8x1035 cm-2s-1 로 설계. 이전의 KEKB 보다 40배 이상 강함 ◦ 첫번째 충돌은 2018년 4월 26일 ◦ 2단계 실험이 2018년 7월 18일에 종료 되었고. 첫 번째 충돌은 2단계에서 관찰됨 ◦ 빔 작동은 2019년 3월 11일에 3단계 실험이 실행되면서 전체 벨(Belle) II 검출기(실리콘 VTX)로 다시 시작됨 ◦ SuperKEKB는 2019년 여름 휴업기간을 거쳐 2019년 10월 15일부터 가동을 재개. ◦ 누적 통계의 최종 목표는 약 100PB의 원시 데이터에 해당하는 50 ab-1임. 이는 이전의 Belle 실험보다 50배 큰 데이터임
❏ J-PARC : Japan Proton Accelerator Research Complex
◦ Fast extraction과 Slow extraction 동시 지원 ◦ Main Ring
- Top Energy 30GeV, FX Design Power 0.75MW, SXPower Expectation 0.1MW 이하
◦ Rapid Cycle Synchrotron
- Energy 3GeV, Repetition 25Hz,
◦ LINAC(Electron-positron injector, a linear accelerator) - 400MeV
◦ 재료 및 생명과학 설비
❏ KEKCC : KEK Central Computer System
◦ 서비스 상태
- 2016년 9월에 가동된 모든 시스템 구성 요소는 모두 서비스 상태에 들어섰고 그 후 HW들은 크게 변하지 않았음. 상당히 안정된 단계임
◦ 시스템 자원 : - CPU 10,024 코어
Intel Xeon E5-2697v3(2.6GHz, 14 코어) × 2,358노드
4GB/코어(8000 코어) / 8GB/코어(2000 코어 : 애플리케이션 용) 236 kHS06/사이트 - 디스크 : 10PF(GPFS) + 3PB(HSM 캐쉬) - Interconnect : IB 4 × FDR - Tape : 70PB(최대 용량) - HSM data : 8.5PB 데이터, 170메가개의 파일, 5000개의 테이프 - Total throughput : 100GB/s(디스크, GPFS), 50GB/s(HSM, GHI) - JOB 스케쥴러 : Platform LSF v9
◦ 그리드 작업 처리
- 168M HS06 hour/month(23.5 HS06/core) ◦ 그리드 스토리지 read/write(외부 데이터 전송 관련)
❏ 2020년 주요 시스템 업그레이드
◦ 현재 KEKCC가 보유한 시스템은 3년이 지난 시스템임
- 시스템 교체와 업그레이드를 컴퓨팅 자원에 대한 사용자 및 많은 그룹의 요구사항을 수용할 수 있도록 2020년 여름에 수행 예정
◦ KEKCC는 KEK 프로젝트들을 위한 시스템으로서 다음을 지원함
- 분석 및 데이터 처리 및 MC 데이터 생산, 그리드(UMD, iRODS), 그리드-CA, 이메일, 메일 목록, 웹, Indico, 위키, 온라인 스토리지 등임. 따라서 시스템 규격을 정하는 것이 오랜 시간이 소요됨 ◦ 지금까지 확정된 시스템 명세서는 다음과 같음 - CPU 코어의 수의 확장 - HSM 캐시와 디스크 전용 분산 스토리지 모두에 대해 스토리지 용량 확대. - 기본 운영 체제 - 그리드 컴퓨팅 요소(CREAM-CE에서 교체) - 광역 데이터 전송 능력 및 기능 강화 - 그리드 스토리지 요소의 네트워크 대역폭 개선 - 그리드 데이터 전송을 위한 IPv6 및 점보 프레임 지원
❏ 국제망 연결 현황
◦ 일본 토쿄에서 미국 로스앤젤레스, 뉴욕, 그리고 유럽 암스테르담 까지 100Gbps로 연결10)◦ 20CRv3라고 불리는 20CR의 새로운 반복은 이전 버전에서 가능했던 것보다 뱃만개의 관측을 더 많이 포함하게 되었으며, 특히 초기 기간 중의 관측 데이터들이 크게 보완됨
◦ NOAA의 수퍼컴퓨터 Cori KNL(Knights Landing Pi-based) 슈퍼컴퓨터의 6600코어에서 6억 CPU 시간을 사용하여 기존 데이터를 수평 분해능 4배(예전에는 위도별 2도 격자망 이었는 데 지금은 위도별 0.7도 격자망으로) 수직 분해능 2.5배(격자망은 140마일에서 48마일의 격자망으로 이동) 그리고 시간 빈도는 2배로 증가시킴 ◦ 이는 달리 표현하면, 거의 21PB 규모의 기존 데이터를 재처리하여 생성한 후 NERSC의 고성능 스토리지 시스템에 새롭게 저장된 20CRv3 데이터는 잃어버린 역사의 문을 열어주고 과학자들이 쏟아져 들어오도록 초대하기 위함임
라. FLAIR : 새로운 접근 속도로 데이터 검색
14) ◦ 워털루 대학의 컴퓨터 과학자들은 컴퓨터 시스템의 스토리지 효율과 출력 속도를 크게 향상 시키는 새로운 접근법(FLAIR)을 발견함. 현재 데이터 스토리지 시스템은 정보를 처리하기 위해 하나의 스토리지 서버만 사용하므로 사용자에게 표시할 정보를 검색하는 속도가 느림. 백업 서버는 주 저장소 서버에 오류가 발생한 경우에만 활성화됨문서, 소셜 네트워크, 이메일 등 클라우드에서 호스팅되는 모든 현대 컴퓨터 애플리케이션에도 적용할 수 있을 것임
마. 미국 국립 알곤 연구소애서 엑사스케일 컴퓨팅을 위해서
크레이사의 ClusterStor E1000 설치
15)◦ HPE(Hewlett Packard Enterprise)는 ALCF(Argonne Leadership Computing Facility)가 새로운 Cray ClusterStor E1000을 병렬 스토리지 솔루션으로 발표함. 지진 활동, 항공우주 난기류 및 충격파, 물리적 게놈 등과 같은 분야에서 ALCF의 과학 연구지원
◦ 최신 구축은 현재 보류 중인 Aurora Exascale 슈퍼컴퓨터를 대비해서 통합 모델링, 시뮬레이션, AI 및 분석 작업 부하에 필요한 ALCF 워크로드를 위한 스토리지 용량을 확장하기 위함임. 오로라는 HPE와 인텔에 의해 추진되며, 2021년에 납품될 크레이 샤스타(Shasta) 시스템임 ◦ Cray ClusterStor E1000 시스템은 용도에 맞게 구축된 소프트웨어 및 하드웨어 기능을
활용하여 훨씬 적은 수의 드라이브로 모든 크기의 고성능 스토리지 요구사항을 충족함. 데이터 폭증과 통합 워크로드가 특징인 Exascale 시대를 지원하도록 설계된 Cray ClusterStor E1000은 ALCF의 미래 Ourora 슈퍼컴퓨터의 성능을 강화하기위하여 전례 없는 속도로 획기적인 발견을 수행하는 데 필요한 데이터 집약적인 다수의 워크로드를 타겟팅할 것임 ◦ ALCF는 모델, 시뮬레이션, AI 및 분석에서 통합 워크로드에 필요한 인프라를 구축하여
Exascale 기술을 활용함. Cray ClusterStor E1000은 ALCF에게 비교할 수 없는 확장성과 성능을 제공함. 차세대 HPC 스토리지가 새로운 데이터 집약적인 워크로드를 지원해서 연구 커뮤니티가 새로운 가치를 창출하게 함 ◦ "그랜드"와 "이글"이라는 이름을 붙인 ALCF의 두 가지 새로운 스토리지 시스템은 Cray ClusterStor E1000 시스템을 사용하여 완전히 새로운 비용 효율적인 고성능 컴퓨팅(HPC) 스토리지 솔루션을 사용하여 오늘날 제품에서 지원할 수 없는 증가하는 통합 워크로드를 효율적이고 효율적으로 관리함
◦ 두 개의 새로운 시스템은 총 200 PB의 스토리지 용량을 확보하게 되며, Cray ClusterStor E1000의 지능형 소프트웨어와 하드웨어 설계를 통해 데이터 흐름을 목표 워크로드에 보다 정확하게 맞출 수 있게 됨. ALCF의 ”Grand“와 ”Eagle“ 시스템은 연구자들이 학문 전반에 걸쳐 광범위한 과학적 발견을 가속화하는 데 도움이 되며, 각각 다음 사항을 다루도록 배정됨 - 컴퓨팅 용량 – ALCF의 "Grand"는 150PB의 중앙 집중식 스토리지와 새로운 수준의
입출력(I/O) 성능을 제공하여 사용자의 대규모 컴퓨팅 요구를 지원함
- 단순화된 데이터 공유 – ALCF의 "이글"은 50PB 커뮤니티 파일 시스템을 제공하여 ALCF 사용자, 협력업체 및 제3자와의 데이터 공유가 그 어느 때보다 쉽게 이루어지도록 함 ◦ ALCF는 2020년 초에 “Grand”와 “Eagle” 스토리지 시스템을 제공할 계획임. 이 시스템은
처음에 HPE HPC 시스템으로 구동되는 기존 ALCF 슈퍼컴퓨터에 연결됨. Theta는 Cray XC40-AC와 Cooley를 기반으로 함, Cray CS-300을 기반으로 한다. ALCF의 “Grand”는 Aurora Exascale 슈퍼컴퓨터가 작동하면 1TB/s의 대역폭이 가능한 것으로, 통합 시뮬레이션 과학 및 데이터 집약적인 작업 부하를 지원하도록 최적화됨
바. Fujitsu, 자기 테이프 스토리지 고속 액세스 기술 개발
16)❏ 동향
◦ 후지쯔 연구소는 마그네틱 테이프 스토리지를 위한 고속 액세스 기술 개발을 발표, 이는 하드 디스크(HDD)를 대체하는 저비용 대용량 스토리지 솔루션으로 새로운 관심을 끌고 있음 ◦ 전통적으로 마그네틱 테이프 스토리지는 백업 용도로 주로 사용되었지만, 용량이 크고 비용이아. 중서부 빅 데이터 혁신 허브(MBDH), 지역 전반에서 데이터 과학 교육 실시
18)❏ 동향
자. Liqid, Dell 및 AMD의 가장 빠른 단일 소켓 스토리지 서버제공
19)❏ 동향
◦ Liqid 사는 업계 선두주자인 AMD 및 Dell Technologies와 협력하여 시장에서 가장 빠른 수준의 원소켓 스토리지 랙 서버 제공.
◦ Liqid의 복합적인 Gen-4 PCI-Express(PCIe) 패브릭 기술인 LQD4500은 AMD EPYC 7002 Series Processors와 결합되어 있으며, Dell Technologies의 Dell EMC PowerEdge R7515 Rack Server에 채택되어 가장 까다로운 차세대 AI에 맞게 설계된 아키텍처를 제공 ◦ Liqid, Dell Technologies 및 AMD의 최적화된 플랫폼은 워크플로우 및 비즈니스 요구사항이
지속적으로 확장됨에 따라 사용자가 핵심 데이터 센터를 위한 최고의 컴퓨팅 및 스토리지 성능을 갖춘 서버 시스템을 구축할 수 있도록 함
◦ 헤페리온 리서치 사에서 HPC 스토리지 비즈니스를 주도하는 비용 요소들의 역학 관계가 변화하고 있음을 발견함. 그 새 자료는 구매 가격과 시스템 성능 측면 못지않게 HPC 스토리지 구매시 고려해야하는 사항들에 대하여 소개함 ◦ 생명 과학 등 데이터 집약적 연구 조직에서 AI, 정밀 의료, 자율 주행, 증강/가상 현실 등과 같은 복잡한 HPC 및 첨단 응용을 대규모로 처리하려면 엔터프라이즈급 안정성 및 관리 용이성이 점점 더 필요해짐 ◦ 그러나, 운영 환경의 측정 기준이 일관성이 없기 때문에 운영 비용의 산출이 어렵고, 생산성 및 품질 결과에 대한 스토리지 솔루션이 복잡해지면서 그 비용 또한 증가하고 있음. 이는 HPC 스토리지 구매자가 스토리지 선택을 하는 방법에 중대한 변화를 요구하게 됨 ◦ 즉, HPC 스토리지를 구매하기 전에, 구매자가 HPC 안정성, 관리 비용, 중단 없는 사용자 지원 및 애플리케이션 사용자 생산성 지원에 대한 답변을 얻는 데 더 많은 시간을 고민해야 하는 것이 당연해지고 있음을 나타냄 ◦ 본 조사는 수십 년간 성능이 구매 고려사항에서 항상 1위였었고 여전히 57%의 우선 순위를 나타내고 있지만, TCO(총 운영 비용) 문제가 이제 초기 장비 구매 비용과 공동으로 2위를 차지하고 있는 것을 보여주고 있음. 응답자의 37%가 우선 고려 사항으로 선택한 것을 보여줌
❏ 시사점
◦ HPC 스토리지 서비스 환경이 복잡해지면서 TCO 고려 순위가 구매 고려사항들 중에서 우선 순위도가 빠르게 높아가고 있음을 보여줌카. 미국 Sandia국립연구소(SNL)는 Stria Cluster용으로 SoftIron사 제품의
파일 및 객체 스토리지 선택
21)❏ 동향
◦ 산디아국립연구소(SNL : Sandia National Laboratory)는 뱅가드 프로그램으로 ARM 기반 Stria라는 고성능 컴퓨팅 클러스터를 위한 보완용 파일 및 객체 스토리지로서 SoftIron 제품을 선택
◦ SNL에는 TOP500 목록에 올라 있는 ARM 기반 시스템 중 가장 빠른 Petascale 급 슈퍼컴퓨터 Astra를 보유, Stria는 Astra에서 사용될 소프트웨어와 코드 개발을 지원하기위한 시스템임
21) 출처 : insideHPC, 게시일 : 2020. 6. 16
◦ SoftIron의 제품은 Stria의 Tier 2 스토리지 요구를 지원하는 PB 규모의 HyperDrive Storage 어플라이언스이며 오픈 소스 Ceph 스토리지 소프트웨어의 성능을 극대화하여 규모에 맞게 간편하고 효율적인 구현이 가능하도록 함
◦ 뱅가드 프로그램(Vanguard program)은 미국 에너지부 핵안보국(National Nuclear Security Administration)의 미국 핵 비축물 관리 플랫폼에 필요한 HPC 신기술의 실현 가능성을 평가하는 국가 프로그램임
◦ SoftIron사 제품은 HyperDrive Storage Manager를 지원하고 있어서 시스템 관리자가 원격에서 HyperDrive Storage cluster들을 통합된 하나의 소프트웨어 및 하드웨어 시스템 처럼 관리할 수 있어서 기존의 관리자들이 각각의 시스템마다 콘솔을 띄운 후 command line 전문가가 되어야만 관리가 가능한 것들도 쉽게 관리할 수 있음
❏ 시사점
◦ 미국 국가 연구소의 페타급 스토리지 구축 및 관리 방향을 파악할 수 있음
타. Top 500에서 7위에 랭크된 Nvidia Supercomputer에서 DDN사의
데이터 스토리지 채택 소식
22)❏ 동향
◦ DDN은 지난주 ISC 2020 디지털 컨퍼런스 기간 중 최근 TOP500 슈퍼컴퓨팅 순위에서 7위를 달성한 엔비디아 슈퍼컴퓨터에서 자사의 데이터 인프라가 활용되고 있다고 전함 ◦ DDN AI400X 올플래시 시스템들을 셀렌이라고 불리는 미국 최대 산업용 슈퍼컴퓨터인 DGX A100 고성능 클러스터에 7PB의 규모로 지원하고 있음 ◦ DDN AI400X는 기업 고객을 위한 AI 및 분석 데이터 솔루션임. DDN은 HPC 사용자 환경을 간소화하여 데이터 집약적인 워크로드에 대한 시스템 구축, 관리 및 확장을 간소화함. 따라서 새로운 AI 프로젝트를 수행하는 고객은 POC에서 대용량 생산으로 원활한 전환이 가능함 ◦ 고객은 NVIDIA의 DGX A100 시스템과 함께 DDN A3I 제품을 활용하여 금융서비스, 생명과학, 자율주행 애플리케이션 등에서 GPU 가속 워크로드의 기능을 극대화할 수 있음 ◦ 엔드 투 엔드 효율성을 극대화하기위하여 엔비디아 멜라노스 퀀텀 200G 인피니밴드 스위치를활용하여 셀렌 인프라 내의 고성능 네트워크 패브릭을 제공함
22) 출처 : insideHPC, 게시일 : 2020. 7. 1
◦ DDN은 분석 워크로드에 대해 20배 향상된 성능을 달성할 수 있는 시스템을 구축하기 위해 GPU에 대한 데이터 경로 최적화를 지원할 예정임
