首页产品评论微软和英伟达创造了世界上最强大的语言模型

微软和英伟达创造了世界上最强大的语言模型

英伟达和微软周一透露,他们正在合作开发一种名为“威震天-图灵自然语言生成模型»。 两家公司声称创造了最大、最有能力的“整体模型 变压器

广告
迄今为止已受过训练的语言“。

微软

另见: Microsoft 更新:Windows 10 KB5006670 和 KB5006667 以及周二发布的新补丁

想知道这有多大,著名的 GPT-3 近年来广为人知,现在有 175 亿个参数。 相比之下,新的 MT-NLG 模型跨越 105 个级别,至少有 530 亿个参数。

MT-NLG 是模型的继承者 图灵 NLG 17B και 威震天 并且能够在各种自然语言任务中表现出“无与伦比的准确性”,例如阅读理解、常识、完成预测、单词澄清,当然还有语言结论。

英伟达和微软 火车 这个巨大的人工智能模型合二为一 超级计算机 命名 塞勒涅. 它是一个由560台服务器组成的系统 英伟达DGX A100, 每个有八个 图形处理器 A100 配备通过接口连接的 80 GB VRAM NVLink και NVSwitch. 微软指出,这种配置类似于超级计算机中使用的参考架构 云 Azure NDv4.

有趣的是,Selene 也是由处理器驱动的 AMD EPYC 7742. Selene 的建造耗资约 85 万美元。

另见: AMD和Nvidia显卡价格进一步上涨

微软表示,MT-NLG 在包含超过 15 亿个芯片的 339 个数据集中进行了训练。 集合是从学术期刊等英语资源、维基百科和 Stack Exchange 等在线社区、代码库(例如 GitHub上、新闻网站等。 最大的数据集称为 并包含 835 GB。

Nvidia公司

总体而言,该项目表明,较大的 AI 模型需要较少的训练才能足够好。 然而,仍未解决的问题是偏见。 事实证明,即使使用来自现实世界的尽可能多的不同数据,巨大的语言模型也会增加教育过程中的偏见、刻板印象和各种毒性。

多年来,人们都知道 AI 模型往往会强化输入它们的数据中的偏见。 这是因为数据集是从性别歧视、种族和宗教偏见司空见惯的各种在线来源收集的。 解决这个问题的最大挑战是量化偏见,无论使用多少资源,这都是一项艰巨的工作并且仍在进行中。

微软之前的一个实验是一个名为的 Twitter 聊天机器人 . Tay 只用了几个小时就掌握了人类可以教给他的最糟糕的功能,公司在发布后不到 24 小时就被迫废弃了它。

另见: 微软将 Windows 子系统 (Linux) 转变为 Windows 11 应用程序

英伟达和微软已经表示,他们致力于解决这个问题,并将尽一切努力支持这一领域的研究。 同时,他们警告说,希望使用 MT-NLG 的组织必须确保采取适当的措施来减轻和最大限度地减少对用户的潜在伤害。 微软指出,任何对人工智能的使用都应遵循指南中描述的可靠性、安全性、机密性、透明度和问责制的原则。”负责任的AI“。

没有米娅https://www.secnews.gr
在一个不断尝试改变你的世界里,做你自己,是你最大的成就
spot_img

实时新闻