第255章 美**惑[第3页/共3页]

比拟之下，TPU利用8位整数数学运算器，具有256GB的主机内存和32GB的本身内存，片上内存带宽34GB/秒，峰值92TOPS，推理吞吐量高了71倍，而托管TPU的办事器的热功率为384瓦。

鉴于大多数利用机器学习的公司（除了Facebook）都利用CPU做推理，是以谷歌TPU论文将英特尔“Haswell”XeonE5v3措置器和TPU做了对比，并且从数据能够看出，后者在多维度推理方面机能远超前者。TheNextPlatform也由此批评，难怪用惯了X86措置器集群做机器学习的谷歌要本身研发一款新的芯片做推理。

此章节稍后订阅因为断网能够会赶不上全勤以是复制了一些乱七八糟的东西明天之前就会改正

在批量很小、数量为16的环境下，HaswellCPU措置完前99%的呼应时候靠近7毫秒，每秒推理数为5，482次（IPS），相称于最大值（13，194IPS，批量64）的42%，而达到峰值则用了21.3毫秒的时候。比拟之下，TPU能够做到在批量大小为200的环境下仍然满足7毫秒的上限，并且IPS为225，000次，达到峰值机能的80%。TPU在批量大小为250的环境下，颠末10个毫秒就呈现了前99%的呼应。