3. 대용량 실험데이터센터의 인프라 기술
3.2. 대용량 실험데이터 활용 관련 기술
◦ NOAA의 대규모 환경 데이터는 상용 클라우드를 통해 보다 쉽게 접근할 수 있는 동시에 향후
◦ 20CRv3라고 불리는 20CR의 새로운 반복은 이전 버전에서 가능했던 것보다 뱃만개의 관측을 더 많이 포함하게 되었으며, 특히 초기 기간 중의 관측 데이터들이 크게 보완됨
◦ NOAA의 수퍼컴퓨터 Cori KNL(Knights Landing Pi-based) 슈퍼컴퓨터의 6600코어에서 6억 CPU 시간을 사용하여 기존 데이터를 수평 분해능 4배(예전에는 위도별 2도 격자망 이었는
◦ FLAIR(Fast, Linearizable, network-Accelerated clIent Reads)이라 불리는 새로운 접근 방식은 주어진 네트워크 내의 모든 서버를 사용함으로써 데이터 스토리지 시스템을 최적화함.
문서, 소셜 네트워크, 이메일 등 클라우드에서 호스팅되는 모든 현대 컴퓨터 애플리케이션에도 적용할 수 있을 것임
마. 미국 국립 알곤 연구소애서 엑사스케일 컴퓨팅을 위해서 크레이사의 ClusterStor E1000 설치
15)◦ HPE(Hewlett Packard Enterprise)는 ALCF(Argonne Leadership Computing Facility)가 새로운 Cray ClusterStor E1000을 병렬 스토리지 솔루션으로 발표함. 지진 활동, 항공우주
◦ 두 개의 새로운 시스템은 총 200 PB의 스토리지 용량을 확보하게 되며, Cray ClusterStor
◦ 일반적으로 마그네틱 테이프 스토리지로 대량의 데이터를 관리하기 위해 LTFS의 각 테이프
❏ 결과
◦ 후지쯔는 오픈소스 분산형 스토리지 소프트웨어인 ceph(1)를 활용해 HDD와 자기테이프용 계층형 스토리지 시스템을 구축하고 시스템의 접속 성능을 평가함. 그 결과 자기 테이프에 저장된 총 5만 개의 개별 100MB 파일에서 무작위로 100개의 파일을 읽는 데 걸리는 시간은 기존의 방식대로 5400초임. 신기술로 기존 방식보다 4.1배 빠른 1,300초 만에 판독함. 또 기존 방식으로는 HDD의 개별 1MB 파일 256개를 자기테이프로 옮기는 데 2.5초가 필요함, 신기술로 기존 방식보다 1.9배 빠른 1.3초 만에 데이터 이동을 확인함
사. Micron사, SSD와 스토리지 클래스 메모리용으로 설계된 오픈 소스 스토리지 엔진 공개
17)❏ 동향
◦ 마이크론 테크놀로지는 솔리드 스테이트 드라이브(SSD)와 스토리지 클래스 메모리(SCM)를 위해 특별히 설계된 최초의 오픈 소스 이기종 메모리 스토리지 엔진(HSE)을 발표함
◦ 하드 디스크 드라이브(HDD) 시대에 탄생한 레거시 스토리지 엔진은 차세대 비휘발성 미디어의 성능 향상과 대기 시간 단축을 설계 수준으로 제공하지 못하고 있음
◦ HSE는 오픈 소스 소프트웨어를 필요로 하는 All-Flash 인프라를 사용하는 개발자에게 이상적이며, 이를 위해 특정 활용 사례에 대하여 코드 사용자 정의 또는 강화 기능을 제공함
◦ HSE는 성능과 내구성을 향상시키는 것 외에도 지능형 데이터 배치를 통해 특히 대규모 데이터 세트의 대기 시간을 줄여줌
◦ HSE는 특정 스토리지 애플리케이션의 처리량을 최대 6배 향상, 지연 시간을 11배 감소, SSD 내구성을 7배 향상시킴. HSE는 또한 플래시 및 3D XPoint 기술과 같은 여러 종류의 미디어를 동시에 이용할 수 있게함
◦ 세계에서 가장 빠른 SSD인 마이크론 X100 NVMe SSD를 마이크론 5210 QLC SSD 4개 세트에 추가하면 처리량이 2배 이상, 읽기 지연 시간이 4배 가까이 개선됨
❏ 시사점
◦ 오픈소스 스토리지 엔진의 HPC 환경 지원 능력이 고성능으로 개선됨
17) 출처 : HPCwire, 게시일 : 2020. 4. 27
https ://www.hpcwire.com/off-the-wire/micron-unveils-open-source-storage-engine-designed-for-ssds-and-storage-class-memory/
아. 중서부 빅 데이터 혁신 허브(MBDH), 지역 전반에서 데이터 과학 교육 실시
18)❏ 동향
◦ 국립과학재단(미국 NSF)이 후원하는 국내 4개 지역 빅데이터 허브 중 하나인 MBDH(Midwest Big Data Innovation Hub) NCSA 슈퍼컴센터에 위치하며, 12개 주 지역을 관할함. Hub는 빠르게 증가하고 점점 더 복잡해지는 데이터를 수집, 관리, 서비스, 마이닝 및 분석하는 데 있어 당면 과제를 해결하는 데 목적이 있음
◦ MBDH 사업의 1단계에서 노스다코타 대학교 팀은 허브의 Data Carpentry(데이터 목공) 사업의 멤버십을 관리하고 중서부 전역에서 6개의 허브 후원 워크샵을 개최함. 오하이오 주 2개, 미네소타 주 1개, 미주리 주 1개, 사우스다코타 주 1개, 노스다코타 주 터틀 마운틴 예약 주 1개
◦ 현재 2단계 운영단계에서 Hub의 초점은 여러 분야에 걸쳐 데이터 과학의 역량 강화뿐만 아니라 데이터 과학을 통해 사람들을 결집시키고 있으며, 이러한 워크샵은 두 가지 임무 모두를 목표로 하고 있음. 워크샵과 훈련 기회를 제공하는 비영리 단체인 카펜트리의 도움으로, 허브는 이러한 임무를 달성함
◦ 데이터 카펜트리와의 파트너십은 데이터 지역 전반의 교육을 용이하게 하려는 MBDH의 임무에 매우 중요함. 우리는 카펜트리가 그들의 참여적인 커리큘럼과 가르침에 대해 믿을 수 없을 정도로 감사하고, 허브의 첫 단계에서 성공적인 파트너십을 이끌어 준 것에 대해 감사함
※ MBDH에서 수행하는 Data Carpentry(데이터 목공) 사업이란? 연구를 수행하는 데 필요한 기초적인 데이터 기술에 대한 워크샵을 개발하고 연구자들에게 데이터 중심 연구의 전체 라이프 사이클에 대한 고품질, 도메인별 교육을 제공
❏ 시사점
◦ 국가 슈퍼컴퓨팅 센터에서 빅데이터 컴퓨팅 역할의 중요성 강조
18) 출처 : HPCwire, 게시일 : 2020. 5. 8
https ://www.hpcwire.com/off-the-wire/midwest-big-data-innovation-hub-collaborates-to-bring-data-science-training-across-the-region/
자. Liqid, Dell 및 AMD의 가장 빠른 단일 소켓 스토리지 서버제공
19)❏ 동향
◦ Liqid 사는 업계 선두주자인 AMD 및 Dell Technologies와 협력하여 시장에서 가장 빠른 수준의 원소켓 스토리지 랙 서버 제공.
◦ Liqid의 복합적인 Gen-4 PCI-Express(PCIe) 패브릭 기술인 LQD4500은 AMD EPYC 7002 Series Processors와 결합되어 있으며, Dell Technologies의 Dell EMC PowerEdge
◦ 헤페리온 리서치 사에서 HPC 스토리지 비즈니스를 주도하는 비용 요소들의 역학 관계가 변화하고 있음을 발견함. 그 새 자료는 구매 가격과 시스템 성능 측면 못지않게 HPC 스토리지 구매시 고려해야하는 사항들에 대하여 소개함
◦ 생명 과학 등 데이터 집약적 연구 조직에서 AI, 정밀 의료, 자율 주행, 증강/가상 현실 등과 같은 복잡한 HPC 및 첨단 응용을 대규모로 처리하려면 엔터프라이즈급 안정성 및 관리 용이성이 점점 더 필요해짐
◦ 그러나, 운영 환경의 측정 기준이 일관성이 없기 때문에 운영 비용의 산출이 어렵고, 생산성 및 품질 결과에 대한 스토리지 솔루션이 복잡해지면서 그 비용 또한 증가하고 있음. 이는 HPC 스토리지 구매자가 스토리지 선택을 하는 방법에 중대한 변화를 요구하게 됨
◦ 즉, HPC 스토리지를 구매하기 전에, 구매자가 HPC 안정성, 관리 비용, 중단 없는 사용자 지원 및 애플리케이션 사용자 생산성 지원에 대한 답변을 얻는 데 더 많은 시간을 고민해야 하는 것이 당연해지고 있음을 나타냄
◦ 본 조사는 수십 년간 성능이 구매 고려사항에서 항상 1위였었고 여전히 57%의 우선 순위를 나타내고 있지만, TCO(총 운영 비용) 문제가 이제 초기 장비 구매 비용과 공동으로 2위를 차지하고 있는 것을 보여주고 있음. 응답자의 37%가 우선 고려 사항으로 선택한 것을 보여줌
❏ 시사점
◦ HPC 스토리지 서비스 환경이 복잡해지면서 TCO 고려 순위가 구매 고려사항들 중에서 우선 순위도가 빠르게 높아가고 있음을 보여줌
카. 미국 Sandia국립연구소(SNL)는 Stria Cluster용으로 SoftIron사 제품의 파일 및 객체 스토리지 선택
21)❏ 동향
◦ 산디아국립연구소(SNL : Sandia National Laboratory)는 뱅가드 프로그램으로 ARM 기반 Stria라는 고성능 컴퓨팅 클러스터를 위한 보완용 파일 및 객체 스토리지로서 SoftIron 제품을 선택
◦ SNL에는 TOP500 목록에 올라 있는 ARM 기반 시스템 중 가장 빠른 Petascale 급 슈퍼컴퓨터 Astra를 보유, Stria는 Astra에서 사용될 소프트웨어와 코드 개발을 지원하기위한 시스템임
21) 출처 : insideHPC, 게시일 : 2020. 6. 16
https ://insidehpc.com/2020/06/sandia-selects-softiron-file-and-object-storage-for-stria-hpc-cluster/
◦ SoftIron의 제품은 Stria의 Tier 2 스토리지 요구를 지원하는 PB 규모의 HyperDrive Storage 어플라이언스이며 오픈 소스 Ceph 스토리지 소프트웨어의 성능을 극대화하여 규모에 맞게 간편하고 효율적인 구현이 가능하도록 함
◦ 뱅가드 프로그램(Vanguard program)은 미국 에너지부 핵안보국(National Nuclear Security Administration)의 미국 핵 비축물 관리 플랫폼에 필요한 HPC 신기술의 실현 가능성을 평가하는 국가 프로그램임
◦ SoftIron사 제품은 HyperDrive Storage Manager를 지원하고 있어서 시스템 관리자가 원격에서 HyperDrive Storage cluster들을 통합된 하나의 소프트웨어 및 하드웨어 시스템 처럼 관리할 수 있어서 기존의 관리자들이 각각의 시스템마다 콘솔을 띄운 후 command line 전문가가 되어야만 관리가 가능한 것들도 쉽게 관리할 수 있음
❏ 시사점
◦ 미국 국가 연구소의 페타급 스토리지 구축 및 관리 방향을 파악할 수 있음
타. Top 500에서 7위에 랭크된 Nvidia Supercomputer에서 DDN사의 데이터 스토리지 채택 소식
22)❏ 동향
◦ DDN은 지난주 ISC 2020 디지털 컨퍼런스 기간 중 최근 TOP500 슈퍼컴퓨팅 순위에서 7위를 달성한 엔비디아 슈퍼컴퓨터에서 자사의 데이터 인프라가 활용되고 있다고 전함
◦ DDN AI400X 올플래시 시스템들을 셀렌이라고 불리는 미국 최대 산업용 슈퍼컴퓨터인 DGX A100 고성능 클러스터에 7PB의 규모로 지원하고 있음
◦ DDN AI400X는 기업 고객을 위한 AI 및 분석 데이터 솔루션임. DDN은 HPC 사용자 환경을 간소화하여 데이터 집약적인 워크로드에 대한 시스템 구축, 관리 및 확장을 간소화함. 따라서 새로운 AI 프로젝트를 수행하는 고객은 POC에서 대용량 생산으로 원활한 전환이 가능함
◦ 고객은 NVIDIA의 DGX A100 시스템과 함께 DDN A3I 제품을 활용하여 금융서비스, 생명과학, 자율주행 애플리케이션 등에서 GPU 가속 워크로드의 기능을 극대화할 수 있음
◦ 엔드 투 엔드 효율성을 극대화하기위하여 엔비디아 멜라노스 퀀텀 200G 인피니밴드 스위치를 활용하여 셀렌 인프라 내의 고성능 네트워크 패브릭을 제공함
22) 출처 : insideHPC, 게시일 : 2020. 7. 1
https ://insidehpc.com/2020/07/ddn-data-storage-in-7th-ranked-nvidia-supercomputer/
◦ DDN은 분석 워크로드에 대해 20배 향상된 성능을 달성할 수 있는 시스템을 구축하기 위해 GPU에 대한 데이터 경로 최적화를 지원할 예정임
❏ 시사점
◦ HPC에서의 스토리지 서비스 고도화 방향은 크게 스토리지 크기와 데이터 경로 최적화에 중점을 두고 있음을 알 수 있음
파. 미국 UCSD 대학의 마이크로바이움 혁신센터에서 데이터 집약적 연구 관련 문제점들을 해결한 사례 제시
23)❏ 동향
◦ UCSD CMI(Center for Microbiome Innovation)는 HPC 스토리지 솔루션 공급업체인 Panasas에서 제공한 ActiveStor 고성능 스토리지 솔루션을 구축하여 생명 과학 연구를
◦ UCSD CMI(Center for Microbiome Innovation)는 HPC 스토리지 솔루션 공급업체인 Panasas에서 제공한 ActiveStor 고성능 스토리지 솔루션을 구축하여 생명 과학 연구를