A Tenstorrent, empresa de chips liderada por Jim Keller, lançou seu processador Wormhole de próxima geração para cargas de trabalho de IA, que espera oferecer bom desempenho a um preço acessível.A empresa oferece atualmente duas placas PCIe adicionais que podem acomodar um ou dois processadores Wormhole, bem como estações de trabalho TT-LoudBox e TT-QuietBox para desenvolvedores de software. Todos os anúncios de hoje são direcionados a desenvolvedores, não àqueles que usam placas Wormhole para cargas de trabalho comerciais.
“É sempre gratificante colocar mais produtos nossos nas mãos dos desenvolvedores. Lançar sistemas de desenvolvimento usando nossos cartões Wormhole™ pode ajudar os desenvolvedores a dimensionar e desenvolver software de IA multichip”, disse Jim Keller, CEO da Tenstorrent.Além deste lançamento, estamos entusiasmados em ver o progresso que estamos fazendo com a remoção da fita e a inicialização do nosso produto de segunda geração, Blackhole.”
Cada processador Wormhole contém 72 núcleos Tensix (cinco dos quais suportam núcleos RISC-V em vários formatos de dados) e 108 MB de SRAM, fornecendo 262 TFLOPS FP8 a 1 GHz com uma potência térmica de design de 160W. A placa Wormhole n150 de chip único está equipada com 12 GB de memória de vídeo GDDR6 e tem uma largura de banda de 288 GB/s.
Os processadores Wormhole oferecem escalabilidade flexível para atender às diversas necessidades das cargas de trabalho. Em uma configuração de estação de trabalho padrão com quatro placas Wormhole n300, os processadores podem ser combinados em uma única unidade que aparece no software como uma rede central Tensix ampla e unificada. Essa configuração permite que o acelerador lide com a mesma carga de trabalho, seja dividido entre quatro desenvolvedores ou execute até oito modelos de IA diferentes simultaneamente. Um recurso importante dessa escalabilidade é que ela pode ser executada localmente sem a necessidade de virtualização. Em um ambiente de data center, os processadores Wormhole usarão PCIe para expansão dentro da máquina ou Ethernet para expansão externa.
Em termos de desempenho, a placa Wormhole n150 de chip único da Tenstorrent (72 núcleos Tensix, frequência de 1 GHz, 108 MB SRAM, 12 GB GDDR6, largura de banda de 288 GB/s) atingiu 262 FP8 TFLOPS a 160W, enquanto a placa Wormhole n300 de chip duplo (128 núcleos Tensix, frequência de 1 GHz, 192 MB de SRAM, 24 GB GDDR6 agregados, largura de banda de 576 GB/s) oferece até 466 FP8 TFLOPS a 300W.
Para contextualizar 300W de 466 TFLOPS FP8, vamos compará-los com o que a Nvidia, líder de mercado de IA, está oferecendo com esta potência de design térmico. O A100 da Nvidia não suporta FP8, mas suporta INT8, com desempenho máximo de 624 TOPS (1.248 TOPS quando esparso). Em comparação, o H100 da Nvidia suporta FP8 e atinge desempenho máximo de 1.670 TFLOPS a 300W (3.341 TFLOPS em esparso), o que é significativamente diferente do Wormhole n300 da Tenstorrent.
No entanto, há um grande problema. O Wormhole n150 da Tenstorrent é vendido por US$ 999, enquanto o n300 é vendido por US$ 1.399. Em comparação, uma única placa gráfica Nvidia H100 é vendida por US$ 30.000, dependendo da quantidade. Claro, não sabemos se quatro ou oito processadores Wormhole podem realmente oferecer o desempenho de um único H300, mas seus TDPs são de 600W e 1200W, respectivamente.
Além das placas, a Tenstorrent oferece estações de trabalho pré-construídas para desenvolvedores, incluindo 4 placas n300 no TT-LoudBox baseado em Xeon, mais acessível, com resfriamento ativo, e o avançado TT-QuietBox com função de resfriamento líquido Xiaolong (baseado em EPYC).
Horário da postagem: 29 de julho de 2024