A Tenstorrent, empresa de semicondutores liderada por Jim Keller, lançou seu processador Wormhole de última geração para cargas de trabalho de IA, que espera oferecer bom desempenho a um preço acessível.Atualmente, a empresa oferece duas placas PCIe adicionais que podem acomodar um ou dois processadores Wormhole, além das estações de trabalho TT-LoudBox e TT-QuietBox para desenvolvedores de software. Todos os anúncios de hoje são direcionados a desenvolvedores, não a quem utiliza placas Wormhole para cargas de trabalho comerciais.
“É sempre gratificante disponibilizar mais dos nossos produtos para os desenvolvedores. Sistemas de desenvolvimento de lançamento que utilizam nossas placas Wormhole™ podem ajudar os desenvolvedores a escalar e desenvolver software de IA com múltiplos chips”, disse Jim Keller, CEO da Tenstorrent.Além deste lançamento, estamos entusiasmados em ver o progresso que estamos fazendo com a prototipagem e inicialização do nosso produto de segunda geração, o Blackhole.”
Cada processador Wormhole contém 72 núcleos Tensix (cinco dos quais suportam núcleos RISC-V em vários formatos de dados) e 108 MB de SRAM, oferecendo 262 TFLOPS FP8 a 1 GHz com um TDP (Thermal Design Power) de 160 W. A placa Wormhole n150 de chip único está equipada com 12 GB de memória de vídeo GDDR6 e possui uma largura de banda de 288 GB/s.
Os processadores Wormhole oferecem escalabilidade flexível para atender às diversas necessidades das cargas de trabalho. Em uma configuração padrão de estação de trabalho com quatro placas Wormhole n300, os processadores podem ser combinados em uma única unidade que aparece no software como uma rede central Tensix unificada e ampla. Essa configuração permite que o acelerador processe a mesma carga de trabalho, dividida entre quatro desenvolvedores, ou execute até oito modelos de IA diferentes simultaneamente. Uma característica fundamental dessa escalabilidade é a capacidade de ser executado localmente, sem a necessidade de virtualização. Em um ambiente de data center, os processadores Wormhole utilizam PCIe para expansão interna ou Ethernet para expansão externa.
Em termos de desempenho, a placa Wormhole n150 de chip único da Tenstorrent (72 núcleos Tensix, frequência de 1 GHz, 108 MB de SRAM, 12 GB de GDDR6, largura de banda de 288 GB/s) atingiu 262 TFLOPS FP8 a 160 W, enquanto a placa Wormhole n300 de chip duplo (128 núcleos Tensix, frequência de 1 GHz, 192 MB de SRAM, 24 GB de GDDR6 agregados, largura de banda de 576 GB/s) oferece até 466 TFLOPS FP8 a 300 W.
Para contextualizar 300 W e 466 TFLOPS em FP8, vamos compará-los com o que a Nvidia, líder de mercado em IA, oferece com essa potência térmica. A placa A100 da Nvidia não suporta FP8, mas suporta INT8, com desempenho máximo de 624 TOPS (1.248 TOPS em modo sparse). Em comparação, a placa H100 da Nvidia suporta FP8 e atinge um desempenho máximo de 1.670 TFLOPS a 300 W (3.341 TFLOPS em modo sparse), o que é significativamente diferente da placa Wormhole n300 da Tensorrent.
No entanto, existe um grande problema. O Wormhole n150 da Tenstorrent é vendido por US$ 999, enquanto o n300 custa US$ 1.399. Em comparação, uma única placa de vídeo Nvidia H100 custa US$ 30.000, dependendo da quantidade. Claro, não sabemos se quatro ou oito processadores Wormhole realmente conseguem entregar o desempenho de uma única H300, mas seus TDPs são de 600W e 1200W, respectivamente.
Além das placas de vídeo, a Tensorrent oferece estações de trabalho pré-montadas para desenvolvedores, incluindo 4 placas n300 na TT-LoudBox, mais acessível e baseada em Xeon com resfriamento ativo, e a avançada TT-QuietBox com função de resfriamento líquido (Xiaolong) baseada em EPYC.
Data da publicação: 29/07/2024