Koyeb, Tenstorrent의 AI 가속기 지원 확대

서버리스 클라우드 플랫폼을 제공하는 Koyeb이 Tenstorrent의 AI 가속기를 활용할 수 있도록 개발자 지원을 확대했다. Tenstorrent는 RISC-V 아키텍처 기반의 AI 프로세서를 판매하며, 자체 오픈소스 신경망 라이브러리 TT-NN과 저수준 프로그래밍 모델 TT-Metalium을 개발해 공개했다.

Nvidia 대안으로 자리 잡으려는 Tenstorrent

Tenstorrent는 Nvidia의 GPU와 CUDA 라이브러리에 대한 대안으로 자리 잡고자 Axelera, Etched, Groq 등과 경쟁하고 있다. 특히, 자사 프로세서와 프로그래밍 환경을 기반으로 하는 개발자 생태계를 구축하는 것이 목표다.

Koyeb, AI 워크로드 최적화 강화

Koyeb은 Scaleway 출신의 경영진들이 창업한 기업으로서, 서버리스 클라우드 플랫폼을 개발해왔다. 기본적으로 개발자들은 명령줄 인터페이스(CLI)나 Git push를 활용하여 다양한 가상 머신(VM)에서 애플리케이션을 구동할 수 있으며, Docker 컨테이너 및 여러 프로그래밍 언어도 지원된다. Koyeb의 핵심 기능으로는 트래픽 수요에 따라 애플리케이션을 자동 확장하는 기능이 있다.

최근 Koyeb은 AI 애플리케이션 지원 강화를 목표로 저지연(로우 레이턴시) 환경 제공에 주력하고 있다. 이를 위해 데이터 센터에 Tenstorrent의 PCIe 보드를 도입하여 개발자들이 TT-Metalium SDK를 활용할 수 있도록 만들었다.

두 가지 새로운 인스턴스 옵션 제공

Koyeb은 Tenstorrent의 AI 가속기를 기반으로 두 가지 새로운 인스턴스를 출시했다.

TT-N300S 인스턴스는 24GB GDDR6 메모리, 192MB SRAM, 최대 466 FP8 TFLOPS 성능을 제공하며, **64GB RAM 및 4개의 가상 CPU(vCPU)**가 포함된다.
TT-LoudBox 인스턴스는 네 개의 N300S 칩을 조합해 96GB GDDR6, 768MB SRAM, 최대 1,864 FP8 TFLOPS 성능을 제공하며, 256GB RAM과 16개의 vCPU가 포함된다.

Nvidia 의존도 줄이려는 클라우드 시장

Koyeb은 특정 하드웨어 제조사에 의존하지 않는 플랫폼 전략을 추구하고 있으며, 이는 ARM이 서버 시장에 진입하는 방식과 유사하다. 한편, Tenstorrent는 자사 오픈소스 프로그래밍 모델을 기반으로 개발자 생태계를 확장하는 전략으로 Nvidia AI 스택에 대한 대안을 제시하고 있다.

📝 나의 의견

최근 AI 가속기 시장이 Nvidia 중심에서 벗어나려는 움직임을 보이고 있다. 특히, Tenstorrent처럼 RISC-V 기반 독자적인 AI 프로세서 및 개발 환경을 구축하려는 기업들이 증가하고 있다. Koyeb의 이번 협력은 하드웨어 선택의 폭을 넓히는 동시에, AI 개발자들이 최적의 환경을 손쉽게 활용할 수 있도록 지원하는 긍정적인 변화로 보인다. 앞으로 이러한 대체 기술들이 실제 AI 애플리케이션 성능에서 얼마나 경쟁력을 가질 수 있을지 지켜볼 필요가 있다.