A empresa de chips, liderada pela Jim Keller, a Tenstorrent lançou seu processador de minhola da próxima geração para cargas de trabalho de IA, que espera oferecer um bom desempenho a um preço acessível.Atualmente, a empresa oferece duas placas PCIE adicionais que podem acomodar um ou dois processadores de buraco de minhoca, bem como as estações de trabalho TT-Loudbox e TT-Quietbox para desenvolvedores de software. Todos os anúncios de hoje são destinados a desenvolvedores, não aqueles que usam placas de minhoca para cargas de trabalho comerciais.
"É sempre gratificante colocar mais de nossos produtos nas mãos dos desenvolvedores. Sistemas de desenvolvimento de liberação usando nossos cartões Wormhole ™ podem ajudar os desenvolvedores a escalar e desenvolver software de IA multi-chip", disse Jim Keller, CEO da Tenstorrent.Além deste lançamento, estamos empolgados em ver o progresso que estamos fazendo com a fita e a energia do nosso produto de segunda geração, Blackhole. ”
Cada processador de buraco de minhoca contém 72 núcleos de tensixes (cinco dos quais suportam núcleos RISC-V em vários formatos de dados) e 108 MB de SRAM, fornecendo 262 fp8 Tflops a 1 GHz com uma potência de projeto térmico de 160W. A placa N150 de poço de chip único é equipado com memória de vídeo GDDR6 de 12 GB e possui uma largura de banda de 288 GB/s.
Os processadores de buraco de minhoca fornecem escalabilidade flexível para atender às diversas necessidades de cargas de trabalho. Em uma configuração de estação de trabalho padrão com quatro cartões N300, os processadores podem ser combinados em uma única unidade que aparece no software como uma rede principal de tensix unificada e ampla. Essa configuração permite que o acelerador lide com a mesma carga de trabalho, divida entre quatro desenvolvedores ou execute até oito modelos diferentes de IA simultaneamente. Um recurso essencial dessa escalabilidade é que ele pode ser executado localmente sem a necessidade de virtualização. Em um ambiente de data center, os processadores de minhoca usarão o PCIE para expansão dentro da máquina ou Ethernet para expansão externa.
In terms of performance, Tenstorrent's single-chip Wormhole n150 card (72 Tensix cores, 1 GHz frequency, 108 MB SRAM, 12 GB GDDR6, 288 GB/s bandwidth) achieved 262 FP8 TFLOPS at 160W, while the dual-chip Wormhole n300 board (128 Tensix cores, 1 GHz frequency, 192 MB SRAM, aggregated 24 GB GDDR6, 576 GB/s de largura de banda) oferece até 466 fp8 tflops a 300w.
Para colocar em contexto 300W de 466 fp8, o comparamos com o que o líder de mercado da IA Nvidia está oferecendo nessa potência de design térmico. O A100 da NVIDIA não suporta FP8, mas suporta INT8, com desempenho máximo de 624 tops (1.248 tops quando escassos). Em comparação, o H100 da NVIDIA suporta FP8 e atinge o desempenho máximo de 1.670 Tflops a 300W (3.341 Tflops em esparso), que é significativamente diferente do Wormal N300 de Tenstorrent.
No entanto, há um grande problema. O Wormhole N150 da Tenstorrent é vendido por US $ 999, enquanto o N300 é vendido por US $ 1.399. Em comparação, uma única placa gráfica da NVIDIA H100 é vendida por US $ 30.000, dependendo da quantidade. Obviamente, não sabemos se quatro ou oito processadores de buraco de minhoca podem realmente oferecer o desempenho de um único H300, mas seus TDPs são 600W e 1200W, respectivamente.
Além dos cartões, a Tenstorrent oferece estações de trabalho pré-construídas para desenvolvedores, incluindo 4 cartões N300 no TT-Loudbox mais acessível baseado em Xeon com refrigeração ativa e a função de refrigeração líquida de TT-Quietbox baseada em Epyc).
Hora de postagem: Jul-29-2024