9일 SK텔레콤은 암(Arm), 리벨리온과 손잡고 AI 데이터센터 협력에 나선다고 밝혔다. 사진 리벨리온

SK텔레콤(SKT)이 영국 반도체 설계기업 Arm(암), 국내 AI 반도체 스타트업 리벨리온과 손잡고 추론에 강한 AI 인프라 구축에 나선다.

9일 SKT는 암·리벨리온과 전략적 파트너십(MOU)를 체결하고 AI 데이터센터 사업 협력을 진행한다고 밝혔다. 암이 자체 개발 및 생산한 ‘암 AGI CPU(중앙처리장치)’와 리벨리온이 3분기 출시 예정인 ‘리벨카드’를 하나의 서버에 탑재하고, 이를 SKT의 AI 데이터센터에서 실증할 계획이다.

암의 AGI CPU는 35년간 반도체 설계에 집중해 온 암이 창사 이후 처음으로 직접 생산에 나선 AI 데이터센터용 CPU다. 전력 효율을 높여 AI 추론 서비스에 최적화된 것이 특징이다. 리벨리온의 리벨카드는 대규모 추론 연산에 특화된 NPU(신경망처리장치)다.

암이 새롭게 출시한 ‘암 AGI CPU’와 리벨리온이 3분기 출시 예정인 ‘리벨카드’. 사진 리벨리온

SKT는 두 회사의 칩을 기반으로 한 AI 추론 서버를 AI 데이터센터에 탑재해 성능과 안정성을 검증할 계획이다. 해당 서버로 SKT가 독자 개발한 AI 파운데이션 모델 ‘에이닷엑스 케이원(A.X K1)’을 운영하는 방안도 검토 중이다. 이재신 SKT AI 사업개발 담당은 “추론에 최적화된 인프라와 A.X K1을 결합한 풀 패키지를 제공함으로써 AI 데이터센터 경쟁력을 더욱 강화해 나가겠다”고 말했다.

이번 협력은 AI 산업의 무게중심이 학습에서 추론으로 이동하는 흐름과 맞닿아 있다. 그간 AI 인프라는 대규모 데이터를 학습시키는 데 초점이 맞춰져 있었지만, 최근에는 실제 서비스를 구동하는 추론 단계의 중요성이 빠르게 커지고 있다.

AI 추론은 학습과 달리 상대적으로 가벼운 연산을 빠르고 반복적으로 처리하는 작업이다. 365일 중단 없이 작동해야 하는 만큼, 전력 효율이 곧 비용 경쟁력으로 직결된다. GPU(그래픽처리장치)를 이 작업에 쓰기엔 과도한 전력을 소모하고 비용이 많이 든다.

이에 업계는 고성능 GPU 중심 구조에서 벗어나 전력 대비 성능을 높인 추론 특화 칩을 적용하는 방향으로 인프라를 재편 중이다. 구글은 자체 AI 가속칩 TPU(텐서처리장치)를 통해 자사 서비스의 추론 효율화를 꾀하고 있다. NPU처럼 추론에 최적화된 전용 칩도 빠르게 확산하는 추세다. 이에 엔비디아는 기존 GPU 중심 구조를 유지하면서도, GPU보다 전력 소모가 적고 추론에 능한 LPU(언어처리장치) 등을 결합해 인프라 다변화 전략을 추진하고 있다.