人工智能中的算力单位pfs-day（petaflop/s-day）

随着人工智能尤其是强化学习算法和预训练技术的飞速发展，人工智能AI模型的算力正在以超高的速度发展。特别在自然语言处理领域的增长十分迅速。

OpenAI的GPT-3大型神经网络有1750亿个参数，而且模型越做越大，短期看来是一个技术趋势。

这样大的模型对于训练算力的消耗是惊人的，人们用一个新的单位来衡量算力，即petaflops/s-day，或者缩写成pfs-day。

这是一个什么样的单位呢？

OpenAI定义神经网络中的每一次乘法或一次加法为一个操作，如果每秒钟可以进行1015方运算，也就是1 peta flops，那么一天就可以进行约1020的运算，这个算力消耗被称为1个petaflop/s-day。

OpenAI透露：曾训练过一个强化学习模型OpenAI Five，使用该系统在2019年战胜了DOTA游戏职业游戏战队，该模型训练量达到800 pfs-day。

那么，800个pfs-day是个什么概念呢？

OpenAI透露他们用了256块P100 GPU和12.8万个CPU核心，整整训练了10个月的时间。OpenAI Five的总练习量相当于打了45000年Dota，每天的训练大概相当于人类打180年游戏。

根据OpenAI的最新研究，从2012年以来，最大的AI训练对于算力的消耗已经增长了30万倍，平均每100天就翻倍，算力是人工智能发展的技术保障，是人工智能发展的动力和引擎。这个速度已经大大超越了两年翻倍的摩尔定律。

2020年5月，OpenAI发表了一篇由多位作者撰写的论文：Language Models are Few-Shot Learners （语言模型是小样本学习者）。其中提到ChatGPT-3中有多达1750亿个参数、数据集45TB，训练花了3640pfs-day，语言模型训练一次的费用保守估计是460万美元，模块总训练成本估计达到了1200 万美元。

由此可见在人工智能领域的资金投入以及对计算机的算力要求是如此之高，远超人们的想象力。下面的表格整理了一些常见模型估计的训练算力消耗：


附：AI算力及单位

1、OPS和FLOPS
OPS是“每秒运算次数”（Operations Per Second）的缩写
FLOPS是“每秒所执行的浮点运算次数”（floating-point operations per second）的缩写
“浮点运算”，实际上包括了所有涉及小数的运算，它们也比整数运算更花时间。有专门用来处理浮点运算的“浮点运算器”（FPU）。FLOPS所量测的，就是FPU的执行速度。

2、MFLOPS、GFLOPS、TFLOPS、PFLOPS
一个MFLOPS（megaFLOPS）等于每秒一百万（=10^6）次的浮点运算
一个GFLOPS（gigaFLOPS）等于每秒十亿（=10^9）次的浮点运算
一个TFLOPS（teraFLOPS）等于每秒一万亿（=10^12）次的浮点运算
一个PFLOPS（petaFLOPS）等于每秒一千万亿（=10^15）次的浮点运算

petaFLOPS (petaFLoating-point Operations Per  Second）也是衡量计算机性能的指标，它是比测量每秒指令数更准确的测量方法。petaFLOPS 等于每秒一千万亿 (10^15)  次浮点运算。例如，一台每秒可以执行 1,000,000,000,000,000 次浮点运算的计算机可以说具有 1 petaFLOPS  的性能。

3、MOPS、GOPS、TOPS、POPS
一个MFLOPS（megaOPS）等于每秒一百万（=10^6）次的整数运算
一个GFLOPS（gigaOPS）等于每秒十亿（=10^9）次的整数运算
一个TFLOPS（teraOPS）等于每秒一万亿（=10^12）次的整数运算