科学技术谷歌使用 MLPerf 在巨头上展示性能...

谷歌使用 MLPerf 在巨型 BERT 版本上展示性能


谷歌利用 MLPerf 竞争对手在 BERT 语言的巨型产品版本中展示整体性能(来自 Transformers 的双向编码器表示是谷歌开发的用于自然语言处理训练的基于转换器的机器学习技术)。

人工智能的深度学习世界痴迷于规模。

广告

深度学习程序,例如 OpenAI GPT-3,继续使用越来越多来自 Nvidia 和 AMD 的 GPU 芯片来构建不断增长的软件程序。 研究人员声称,程序的准确性随着规模的增加而增加。

另见: 谷歌搜索:制作一个的技巧ν您的要求

YouTube

谷歌 BERT MLPerf

MLCommons(一家致力于改进所有人的机器学习的全球开放式非营利组织)在周三发布的最新行业基准报告中详细介绍了这种对规模的痴迷,该基准为计算机芯片破解深度学习代码的速度设定了标准。

谷歌已决定不提交任何标准的深度学习参考测试,这些测试由在该领域成熟但相对过时的程序组成。 相反,谷歌工程师展示了一个其他供应商没有使用过的谷歌自然语言程序 BERT 版本。

MLPerf 是用于衡量竞争绩效的基准,它报告两个部分的结果:标准的“封闭”部分,大多数供应商在 ResNet-50 等现有网络上竞争;“开放”部分,允许供应商尝试非-标准方法。

另见: 谷歌:加密货币矿工入侵云账户

在 Open 部分,谷歌展示了一台使用 2.048 个谷歌 TPU 芯片的计算机,版本 4。这台机器能够在大约 19 小时内部署 BERT 程序。

BERT,一个 481 亿参数的神经网络,之前没有被发现。 它比称为“BERT 大”的标准 BERT 版本大三个数量级以上,其中只有 340 亿个参数。 拥有更多的参数通常需要更多的计算能力。

MLPerf

谷歌表示,新提交的文件反映了规模在人工智能中日益增长的重要性。

MLPerf 测试套件是 MLCommons 的创建,MLCommons 是一个行业联盟,为机器学习的两个部分发布多个年度比较基准评估。:所谓的训练,即通过在多个实验中改进其设置来创建神经网络,以及所谓的结论,即集成神经网络在接收新数据时进行预测。

周三的报告是教练阶段的最终参考测试。 以下是之前的六月报告。

MLPerf 的完整结果在 MLCommons 网站上的新闻稿中进行了讨论。 提交的完整详细信息可以在网站上发布的表格中找到。

谷歌 BERT MLPerf

谷歌的 Selvan 说 MLCommons 应该考虑包括更多的大型模型。 他说,像 ResNet-50 这样的旧的、较小的网络“只给我们一个代理”,用于大规模的训练性能。

Selvan 说,缺少的是所谓的系统随着年龄的增长而提高的效率。 谷歌成功地以 63% 的效率执行了其巨大的 BERT 模型, 他告诉 ZDNet,这是通过相对于理论容量每秒执行的浮点运算数量来衡量的。 他说,在与微软合作开发的威震天-图灵语言模型的开发中,这比英伟达排名第二的 52% 要好。

大卫·坎特,执行董事 MLCommons,表示大型模型的决定应留给下议院成员集体决定。 然而,他指出,使用小型神经网络作为测试,让更多地方可以参加比赛。

另见: 如何将文件和文件夹上传到 Google Drive?

相反,标准 MLPerf 测试,其代码可供所有人使用,是任何人工智能研究人员都可以用来重复测试的资源,坎特说。

谷歌不打算发布新的 BERT 模型,Selvan 在一封电子邮件中告诉 ZDNet, 将其描述为“我们只为 MLPerf 做的事情”。 Selvan 说,该计划类似于今年早些时候谷歌搜索中描述的高度并行神经网络的计划。

尽管 BERT 程序有 481 亿个参数,但它代表了现实世界的工作,因为它基于现实世界的代码。

信息来源:zdnet.com

现货图片

实时新闻

00:08:23
00:08:58

如何正确清洁家里的小工具和电器?

9 个迹象表明您的 PC 已感染间谍软件

如何在 Chromebook 上阻止 YouTube?

如何清除 iPhone 上未使用的应用程序

Facebook Messenger:您的消息安全吗?

如何在 Microsoft Excel 中将月份添加到日期

何时应清除 Android 应用程序的缓存?