퓨리오사AI 백준호 "AI 반도체 경쟁력은 전력 효율성"

[아이뉴스24 권서아 기자] 백준호 퓨리오사AI 대표가 "AI 인프라 비용의 본질은 에너지"라며 "같은 전력에서 얼마나 많은 연산을 수행하느냐가 중요하다"고 말했다. 이때문에 AI 반도체의 핵심 경쟁력 요소 가운데 하나가 전력 효율성이라는 것이다.

백준호 대표는 어제(지난달 31일) 열린 '제27차 세계대표자대회 및 수출상담회' 강연에서 "AI는 이제 실험실을 벗어나 실제 서비스 단계로 넘어갔고, 데이터센터도 학습이 아니라 추론 중심으로 빠르게 바뀌고 있다"며 이같이 강조했다.

퓨리오사AI는 국내를 대표하는 AI반도체 스타트업으로 지난 1월 2세대 신경망처리장치(NPU)인 '레니게이드(RNGD)'를 공개하는 등 데이터센터용 추론 반도체에 집중해왔다. 특히 자체 아키텍처인 '텐서 축약 프로세서(TCP)'를 적용해 연산 구조를 단순화하고 데이터 이동을 줄여 전력 대비 효율을 높여왔다.

TCP는 엔비디아의 그래픽처리장치(GPU)가 범용 연산 구조인 것과 달리 대형 언어모델(LLM) 추론에 필요한 연산 패턴을 줄여 전력 대비 효율을 높이는 구조다.

주력 제품인 RNGD는 약 400억 개 트랜지스터를 집적한 AI 가속기로, 세계 1위 파운드리(반도체 위탁생산) 대만 TSMC의 5나노 공정으로 생산되고 SK하이닉스의 4세대 고대역폭메모리(HBM3)를 탑재했다. 칩 1개 기준 초당 512테라플롭스(TFLOPS) 연산 성능과 약 1.5테라바이트(TB/s) 수준의 메모리 대역폭을 지원한다.

RNGD 8장으로 구성된 'NXT RNGD 서버'의 소비 전력은 약 3킬로와트(kW) 수준에서 구동된다. HBM3 384기가바이트(GB) 용량과 12TB급 메모리 대역폭을 지원한다. 기업용 추론 워크로드에 맞춰 설계됐다.

퓨리오사AI에 따르면 NXT는 15kW 랙 기준에서 초당 약 2만6400 토큰 처리 성능을 기록해, 엔비디아의 RTX Pro 6000(6600), A100 SXM(1만320), H100 SXM(1만9020) 대비 높은 수준의 추론 처리량을 보였다.

최대 약 4배 수준의 효율 차이를 보인다는 설명이다.

제품은 서버 형태로도 제공된다. 실제 적용도 진행 중이다. 퓨리오사AI는 LG AI연구원과 약 1년간 성능 검증을 진행했으며, LG CNS, LG유플러스 등과 함께 상용화 테스트를 이어가고 있다. 기업 환경 적용을 위한 테스트가 이어지고 있다.

백 대표는 거듭 "AI 인프라 비용의 본질은 에너지"라며 "같은 전력으로 더 많은 토큰을 처리하는 것이 중요하다"고 말했다.

백 대표는 또 RNGD 칩을 활용해 미국 오픈AI의 대규모 언어모델 'GPT-OSS 120B' 기반의 챗봇을 실시간으로 시연하는 등 사례도 설명했다.

백 대표는 "AI 반도체는 설계·제조·소프트웨어가 결합된 산업으로 국가 단위 역량이 필요한 분야"라며 "미국 외에 한국, 중국 등 일부 국가만이 이러한 역량을 갖추고 있다"고 말했다. "지금이 글로벌 시장으로 본격 진출할 중요한 시점"이라고도 말했다.

퓨리오사AI는 2017년 설립된 AI 반도체 팹리스(설계) 기업으로, 데이터센터용 AI 추론 반도체 시장을 겨냥해 사업을 확대하고 있다. 업계에서는 퓨리오사AI가 3조원 기업가치로 프리 IPO(상장 전 지분 투자)를 유치하고 있는 것으로 알려졌다.