Jim Keller liderliğindeki çip şirketi Tenstorrent, yapay zeka iş yükleri için uygun bir fiyata iyi bir performans sunmasını beklediği yeni nesil Wormhole işlemcisini piyasaya sürdü.Şirket şu anda bir veya iki Wormhole işlemciyi barındırabilen iki ek PCIe kartı ve yazılım geliştiricileri için TT-LoudBox ve TT-QuietBox iş istasyonları sunuyor. Bugünkü duyuruların hepsi ticari iş yükleri için Wormhole kartlarını kullananlara değil, geliştiricilere yöneliktir.
"Ürünlerimizin daha fazlasını geliştiricilerin eline ulaştırmak her zaman memnuniyet vericidir. Wormhole™ kartlarımızı kullanan sürüm geliştirme sistemleri, geliştiricilerin çok çipli AI yazılımlarını ölçeklendirmesine ve geliştirmesine yardımcı olabilir," diyor Tenstorrent CEO'su Jim Keller.Bu lansmanın yanı sıra, ikinci nesil ürünümüz Blackhole'un banttan çıkarılması ve çalıştırılması konusunda kaydettiğimiz ilerlemeyi görmekten heyecan duyuyoruz."
Her Wormhole işlemcisi 72 Tensix çekirdeği (bunlardan beş tanesi çeşitli veri formatlarında RISC-V çekirdeklerini destekler) ve 108 MB SRAM içerir ve 1 GHz'de 160W termal tasarım gücüyle 262 FP8 TFLOPS sunar. Tek çipli Wormhole n150 kartı 12 GB GDDR6 video belleğiyle donatılmıştır ve 288 GB/sn bant genişliğine sahiptir.
Wormhole işlemcileri, iş yüklerinin çeşitli ihtiyaçlarını karşılamak için esnek ölçeklenebilirlik sağlar. Dört Wormhole n300 kartına sahip standart bir iş istasyonu kurulumunda, işlemciler yazılımda birleşik, geniş bir Tensix çekirdek ağı olarak görünen tek bir ünitede birleştirilebilir. Bu yapılandırma, hızlandırıcının aynı iş yükünü işlemesine, dört geliştirici arasında bölünmesine veya aynı anda sekiz farklı AI modelini çalıştırmasına olanak tanır. Bu ölçeklenebilirliğin temel bir özelliği, sanallaştırmaya gerek kalmadan yerel olarak çalışabilmesidir. Bir veri merkezi ortamında, Wormhole işlemcileri makinenin içinde genişleme için PCIe'yi veya harici genişleme için Ethernet'i kullanır.
Performans açısından, Tenstorrent'in tek çipli Wormhole n150 kartı (72 Tensix çekirdek, 1 GHz frekans, 108 MB SRAM, 12 GB GDDR6, 288 GB/s bant genişliği) 160 W'da 262 FP8 TFLOPS'a ulaşırken, çift çipli Wormhole n300 kartı (128 Tensix çekirdek, 1 GHz frekans, 192 MB SRAM, toplam 24 GB GDDR6, 576 GB/s bant genişliği) 300 W'da 466 FP8 TFLOPS'a kadar sunuyor.
300W'lık 466 FP8 TFLOPS'u bağlamına oturtmak için, bunu AI pazar lideri Nvidia'nın bu termal tasarım gücünde sunduğu şeyle karşılaştıracağız. Nvidia'nın A100'ü FP8'i desteklemiyor, ancak INT8'i destekliyor ve 624 TOPS'luk (seyrek olduğunda 1.248 TOPS) tepe performansına sahip. Buna karşılık, Nvidia'nın H100'ü FP8'i destekliyor ve 300W'da 1.670 TFLOPS'luk (seyrek olduğunda 3.341 TFLOPS) tepe performansına ulaşıyor; bu da Tenstorrent'in Wormhole n300'ünden önemli ölçüde farklı.
Ancak, büyük bir sorun var. Tenstorrent'in Wormhole n150'si 999 dolara satılırken, n300 1.399 dolara satılıyor. Karşılaştırmak gerekirse, tek bir Nvidia H100 grafik kartı, miktara bağlı olarak 30.000 dolara satılıyor. Elbette, dört veya sekiz Wormhole işlemcisinin tek bir H300'ün performansını sağlayıp sağlayamayacağını bilmiyoruz, ancak TDP'leri sırasıyla 600W ve 1200W.
Tenstorrent, kartların yanı sıra geliştiriciler için önceden oluşturulmuş iş istasyonları da sunuyor; bunlar arasında aktif soğutmaya sahip daha uygun fiyatlı Xeon tabanlı TT-LoudBox ve EPYC tabanlı Xiaolong sıvı soğutma işlevine sahip gelişmiş TT-QuietBox yer alıyor.
Gönderi zamanı: 29-Tem-2024