Home

최신 벤치마크 결과, NVIDIA B200을 탑재한 슈퍼마이크로 시스템이 이전 세대 시스템 대비 초당 토큰 생성량 3배 기록

새너제이, 캘리포니아, 2025년 4월 3일 /PRNewswire/ —  AI/ML, 클라우드, 스토리지 및 5G/엣지를 위한 토탈 IT 솔루션의 글로벌 리더 슈퍼마이크로컴퓨터(Super Micro Computer, Inc.(SMCI), 이하 슈퍼마이크로)가 NVIDIA HGX™ B200 8-GPU를 사용해 여러 MLPerf Inference v5.0 벤치마크에서 최초로 업계 최고의 성능을 달성했다고 발표했다. 4U 수랭식 및 10U 공랭식 시스템은 일부 벤치마크에서 최고의 성능을 달성했다. 슈퍼마이크로는 H200 8-GPU 시스템에 비해 Llama2-70B 및 Llama3.1-405B 벤치마크에서 초당 토큰(Token/s) 생성량이 3배 이상 증가한 것으로 나타났다.

Nvidia HGX B200 Systems

찰스 량(Charles Liang) 슈퍼마이크로 사장 겸 최고경영자(CEO)는 “2025년 MLCommons가 발표한 최초의 새로운 벤치마크에서 알 수 있듯이 슈퍼마이크로는 AI 업계의 선두 주자로 자리매김하고 있다”며 “우리의 빌딩 블록 아키텍처를 통해 다양한 워크로드에 최적화된 다양한 시스템을 가장 먼저 시장에 출시할 수 있었다. 앞으로도 엔비디아(NVIDIA)와 긴밀히 협력하여 시스템을 정밀 조정하고 AI 워크로드에서 선도적인 위치를 확보할 것”이라고 말했다.

새로운 MLPerf v5.0 Inference 벤치마크에 대한 자세한 내용은 https://mlcommons.org/benchmarks/inference-datacenter/에서 확인할 수 있다.

슈퍼마이크로는 공랭식과 수랭식 NVIDIA HGX™ B200 8-GPU 시스템 모두에서 기록적인 MLPerf 추론 성능(일부 벤치마크 기준) 기록을 발표한 유일한 시스템 벤더다. 시스템은 MLCommons 벤치마크 시작일 이전부터 운영 가능했으며, 슈퍼마이크로 엔지니어들은 시스템과 소프트웨어를 최적화하여 뛰어난 성능을 입증했다. 운영 마진 내에서 슈퍼마이크로의 공랭식 B200 시스템은 액체 냉각식 B200 시스템과 동등한 수준의 성능을 보여주었다. 슈퍼마이크로는 벤치마크를 진행하는 동안 해당 시스템을 고객들에게 지속적으로 공급해 왔다.

MLCommons는 모든 결과가 재현 가능해야 하며, 제품이 실제로 사용 가능하고, 다른 MLCommons 회원이 결과를 감사할 수 있어여 한다는 점을 강조한다. 슈퍼마이크로의 엔지니어들은 MLCommons 규정에 따라 시스템과 소프트웨어를 최적화했다.

SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) 및 SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB)는 Mixtral 8x7B Inference 및 Mixture of Experts 벤치마크에서 초당 129,000 토큰(Token/s)을 기록하며 성능 우위를 입증했다. 슈퍼마이크로 공랭식 및 수랭식 NVIDIA B200 기반 시스템은 대형 Llama3.1-405b 모델 추론에서 초당 1000개 이상의 토큰을 생성했으며, 이는 이전 세대 GPU 시스템보다 훨씬 더 뛰어난 결과다. 소규모 추론 작업의 경우, LLAMA2-70b 벤치마크를 사용할 때 NVIDIA B200 SXM-180GB를 탑재한 슈퍼마이크로 시스템이 티어 1(Tier 1) 시스템 공급업체 중 가장 높은 성능을 나타냈다.

구체적인 결과는 다음과 같다.

• Stable Diffusion XL (서버)
  SYS-A21GE-NBRT (8x B200-SXM-180GB)

  #1 쿼리/초, 28.92

• llama2-70b-interactive-99 (서버)
  SYS-A21GE-NBRT (8x B200-SXM-180GB)

  #1 토큰/초, 62,265.70

• Llama3.1-405B (오프라인)
  SYS-421GE-NBRT-LCC (8xB200-SXM-180GB)

  #1 토큰/초 1521.74

• Llama3.1-405B (서버)
  SYS-A21GE-NBRT (8x B200-SXNM-180GB)

  #1 토큰/초, 1080.31 (8-GPU 노드용)

• mixtral-8x7b (서버)
  SYS-421GE-NBRT-LCC (8x B200-SXM-180GB)

  #1 토큰/초, 129,047.00

• mixtral-8x7b (오프라인)
  SYS-421GE-NBRT-LCC (8x B200-SXM-180GB)

  #1 토큰/초, 128,795.00

데이비드 칸터(David Kanter) MLCommons의 MLPerf 책임자는 “MLCommons는 슈퍼마이크로가 MLPerf Inference v5.0 벤치마크에 응해준 것에 감사하며, 이전 세대 시스템과 비교할 때 상당한 성능 향상을 보여주는 결과를 확인하게 되어 매우 기쁘다”라고 말했다. 그는 “이번 성능 개선은 중립적이고 대표성이 있으며 재현 가능한 MLPerf 결과를 통해 검증되었으며, 고객들도 이를 만족스럽게 받아들일 것”이라고 덧붙였다.

슈퍼마이크로는 100개 이상의 GPU 최적화 시스템을 포함한 종합적인 AI 포트폴리오를 제공하며, 공랭식 및 액체 냉각식 옵션과 단일 소켓 최적화 시스템부터 8웨이 멀티프로세서 시스템까지 다양한 CPU 구성을 선택할 수 있다. 슈퍼마이크로 랙 스케일 시스템에는 컴퓨팅, 스토리지, 네트워크 구성 요소를 포함하고 있어 고객이 제품을 수령한 후 설치 시간을 단축할 수 있도록 설계됐다.

슈퍼마이크로의 NVIDIA HGX B200 8-GPU 시스템은 차세대 수랭식과 공랭식 기술을 활용한다. 새로 개발된 냉각판과 새로운 250kW 냉각수 분배 장치(CDU)는 동일한 4U 폼 팩터에서 이전 세대보다 냉각 용량을 두 배 이상 높였다. 이 시스템은 42U, 48U 또는 52U 구성으로 제공되며, 새로운 수직 냉각수 분배 매니폴드(CDM)를 적용한 랙 스케일 설계를 통해 추가적인 랙 유닛 점유 없이 배치가 가능하다. 이를 통해 42U 랙에 64개의 NVIDIA Blackwell GPU로 구성된 8개의 시스템과 52U 랙에 96개의 NVIDIA Blackwell GPU로 구성된 최대 12개의 시스템을 구축할 수 있다.

새로운 공랭식 10U NVIDIA HGX B200 시스템은 열 헤드룸이 확장된 섀시를 새롭게 설계하여 8개의 1000W TDP Blackwell GPU를 수용할 수 있다. 새로운 10U 공랭식 시스템은 이전 세대와 동일한 밀도로 랙에 최대 4개까지 설치 및 완전 통합할 수 있으며, 최대 15배의 추론 및 3배의 트레이닝 성능을 제공한다.

슈퍼마이크로컴퓨터(Super Micro Computer, Inc.) 소개

슈퍼마이크로(Supermicro, 나스닥: SMCI)는 애플리케이션 최적화 토탈 IT 솔루션 분야에서 세계 시장을 선도하는 기업이다. 캘리포니아 새너제이에서 설립되어 운영 중이며 엔터프라이즈, 클라우드, AI, 5G 통신사/엣지 IT 인프라를 대상으로 누구보다도 먼저 혁신 솔루션을 출시하는 것을 목표로 하고 있다. 서버, AI, 스토리지, IoT, 스위치 시스템, 소프트웨어, 지원 서비스를 제공하는 토탈 IT 솔루션 제조사로서 마더보드와 전원, 섀시 설계 전문성을 무기로 개발과 생산을 강화, 클라우드에서 엣지까지 고객에게 차세대 혁신 제품을 공급하고 있다. 미국, 아시아, 네덜란드에서 제품을 자체 설계하고 글로벌 영업망을 통해 규모와 효율을 제고하는 한편 최적화를 통해 TCO를 개선하고 환경에 미치는 영향을 줄이고 있다(그린 컴퓨팅). 수상 경력을 자랑하는 Server Building Block Solutions® 포트폴리오를 통해 고객은 폼 팩터, 프로세서, 메모리, GPU, 스토리지, 네트워크, 전력 및 냉각 솔루션을 포괄적으로 지원하는 유연하고 재사용 가능한 빌딩 블록을 기반으로 구축된 광범위한 시스템 제품군에서 자신의 특정 워크로드와 애플리케이션에 맞게 제품을 선택하여 최적화할 수 있다.

슈퍼마이크로(Supermicro), 서버 빌딩 블록 솔루션(Server Building Block Solutions), We Keep IT Green은 슈퍼마이크로컴퓨터의 상표 및/또는 등록상표이다.

기타 브랜드, 이름 및 상표는 해당 소유자의 재산이다.

사진 – https://mma.prnasia.com/media2/2656893/Super_Micro_Computer_MLPerf.jpg?p=medium600

로고 – https://mma.prnasia.com/media2/1443241/Supermicro_Logo.jpg?p=medium600