谷歌宣布推出Cloud TPU v5p，這是目前最強大的人工智慧加速器

谷歌今日宣布推出其新的大型語言模型Gemini，與此同時，該公司還推出了新的Cloud TPU v5p，這是其Cloud TPU v5e的更新版本，後者在今年早些時候已開始普及。一個v5p集群包含總共8,960個晶片，並搭載了谷歌迄今為止最快的互聯網絡，每個晶片最高達4,800 Gbps。

谷歌承諾這些晶片的速度顯著快於v4 TPU，這並不令人意外。團隊聲稱，v5p在浮點運算能力（FLOPS）上有2倍的提升，在高帶寬記憶體上有3倍的改進。這有點像是將新的Gemini模型與較舊的OpenAI GPT 3.5模型進行比較。畢竟，谷歌本身已經將技術水平推進到超越TPU v4。然而，在許多方面，v5e集群與v4集群相比略顯不足，每個v5e集群只有256個晶片，而v4集群則有4096個，每個v5e晶片的16位浮點性能總計為197 TFLOPs，相較之下v4晶片為275 TFLOPs。對於新的v5p，谷歌承諾最高可達459 TFLOPs的16位浮點性能，並由更快的互聯網絡支持。

谷歌表示，這一切意味著TPU v5p可以比TPU v4快2.8倍訓練像GPT3-175B這樣的大型語言模型，且更具成本效益（儘管TPU v5e雖然速度較慢，但實際上提供了比v5p更高的每美元相對性能）。

谷歌DeepMind和谷歌研究的首席科學家杰夫·迪恩寫道：“在我們早期使用中，谷歌DeepMind和谷歌研究觀察到，使用TPU v5p晶片進行LLM訓練工作負載的速度比我們的TPU v4世代快了2倍。”他還說：“對ML框架（JAX、PyTorch、TensorFlow）和編排工具的強大支持使我們能夠在v5p上更有效地擴展。隨著SparseCores第二代的推出，我們還看到了嵌入式重工作負載性能的顯著提升。TPU對於使我們最大規模的研究和工程努力能夠在像Gemini這樣的尖端模型上實現至關重要。”

新的TPU v5p目前尚未普遍可用，因此開發者將不得不聯繫他們的谷歌帳戶經理以列入名單。