黄仁勋正面回应：GTC大会整个keynote都是假的，除了我自己

发布时间：2021-11-10 15:28:03来源：机器之心

机器之心报道

编辑：泽南、张倩

这次英伟达发布的，是「元宇宙」开发工具。

元宇宙的最终解释权，还得看英伟达。

几个月前，真假黄仁勋的争论带火了「元宇宙」概念。11月9日，GTC大会再次开启，英伟达创始人兼CEO黄仁勋从自家虚拟的厨房中走来。

那这次是否是「真人」？

在刚刚结束的媒体采访环节中，黄仁勋直面人们的好奇：「Keynote中的一切都是渲染的，没有真实物体，全部是虚拟的（Everythinginthekeynotewasrendered，nothingwasreal，everythingwasvirtual）。」

这一说法让接入电话的记者都为之一振。于是一位记者问道，「您刚才说一切都是虚拟的，包括您自己吗？」「哈哈哈，一切都是虚拟的，但除了我自己，我是真的。」黄仁勋补充道。看来，黄仁勋只是用这个大喘气给大家开个玩笑。

回顾此次GTCKeynote，我们可以发现几个非常重要的点，比如元宇宙和加速计算。

拥抱元宇宙的Q版黄仁勋

「我将向大家介绍我们正在进行的重要计划，它将重塑我们所在行业，」黄仁勋说道。

英伟达展示过如何使用Omniverse来模拟仓库、工厂、物理与生物系统、5G通信、机器人、自动驾驶汽车，现在最新的技术可以直接生成全功能的虚拟形象了。

这个Q版黄仁勋叫Toy-Me，可以和人进行自然语言交流。

‍

它使用了目前业界规模最大的预训练自然语言处理模型Megatron530B，「借用」了黄仁勋自己的声音、形象和讲话姿态，整个人也带光线追踪特效——最重要的是，所有一切都是实时生成的。几个月前，这还是无法实现的。

为了检验整个虚拟小人是不是真的有用，人们向它提出了几个不太简单的问题，都获得了让人满意的答案：

‍

‍

上知天文下知地理，还懂环境保护问题。

说「互联网改变了一切」现在看来是有些轻描淡写了，今天的我们一直互相连接。互联网本质上是这个世界的数字表达，主要是指2D的文本、语音、图像和视频信息。「这个事情要发生变化了，如今我们已经拥有创建全新3D世界或为物理世界建模的技术。在虚拟世界中，有真实的物理定律，当然也可以不遵守，」黄仁勋说道。「在那里我们可以是和朋友，也可以是和AI在一起。」

‍

‍我们将像网络中跳转一样从一个世界切换到另一个世界，这个新世界的规模要比真实世界大得多。我们将购买到3D的商品，正如现在买首2D歌曲或买书一样。在这个世界中，我们也能购买、持有或出售房产、家具、汽车、奢侈品和艺术品。在虚拟世界中，人们将创造出比物理世界更加丰富多样的东西。

与游戏不同的是，Omniverse是面向数据中心设计的，有朝一日或许可以形成全球的规模。Omniverse的门户是「数字虫洞」，将人和计算机链接到Omniverse上，然后再联通所有虚拟世界。这些虚拟世界中，你可以设计飞机，运行虚拟工厂。「现实世界工厂的运行是虚拟世界的复制品，这就是数字孪生概念。」

在Keynote中，英伟达还展示了Omniverse的一系列新功能，包括Showroom，负责展示图形、物理、材质和AI。Farm，一个系统层，用于协调跨多系统，工作站、服务器、裸机或虚拟化的批处理作业。OmniverseAR可以将图形串流到手机和AR眼镜上。OmniverseVR是首款全帧率交互式光线追踪VR。

11天训练GPT-3，Megatron530B推理时间降至半秒，老黄祭出大模型神器

构建虚拟世界中的AI需要构建强大的模型，并让它们具备实时的推理能力，这就需要与以往完全不同的技术了。

近年来，自然语言处理中基于Transformer的语言模型在大规模计算、大型数据集以及用于训练这些模型的高级算法和软件的推动下发展迅速。具有大量参数、更多数据和更多训练时间的语言模型可以获得更丰富、更细致的语言理解。因此，它们可以很好地泛化为有效的零样本（zero-shot）或少样本（few-shot）学习器，在许多NLP任务和数据集上具有很高的准确性。

在昨天的GTC大会上，NVIDIA推出了为训练具有数万亿参数的语言模型而优化的NVIDIANeMoMegatron框架、为新领域和语言进行训练的可定制大型语言模型（LLM）Megatron530B以及具有多GPU、多节点分布式推理功能的NVIDIATriton推理服务器。这些工具与NVIDIADGX系统相结合，提供了一个可部署到实际生产环境的企业级解决方案，以简化大型语言模型的开发和部署。

「训练大型语言模型需要极大的勇气：耗资上亿美元的系统、持续数月在数PB数据上训练万亿参数模型，离不开强大的信念、深厚的专业知识和优化的堆栈，」黄仁勋在演讲中说到。因此，他们创建了一个专门训练拥有数万亿参数的语音、语言模型的框架——NeMoMegatron。NeMoMegatron是在Megatron的基础上发展起来的开源项目，由NVIDIA研究人员主导，研究大型Transformer语言模型的高效训练。该框架已经经过优化，可水平扩展至大规模系统并保持很高的计算效率。

黄仁勋介绍说，他们的研究人员曾在NVIDIA的500节点SeleneDGXSuperPOD上进行过测试，结果表明，NeMoMegatron仅用了11天就完成了GPT-3的训练。此外，他们还和微软一起在6周内完成了MegatronMT-NLG5300亿参数模型的训练。「借助NemoMegatron，任何公司都可以训练最先进的大型语言模型。」黄仁勋表示。

完成训练后，如何运行大型语言模型呢？这就要用到专门的推理服务器了。在生产环境中，大模型的推理需要极低的延迟才能达到可用的程度。「在高端双XeonPlatinumCPU服务器上，Megatron530B的推理需要超过一分钟的时间。对于很多应用而言，这基本上是不可用的。」黄仁勋举例说，「GPU加速的模型也很有挑战性，因为模型尺寸要求远远高于GPU的显存。」GPT-3有1750亿参数，至少需要350GB的内存，Megatron参数更多，内存需求高达1TB。

为了解决大模型推理问题，NVIDIA创建了Triton推理服务器。黄仁勋表示，Triton是世界上第一个分布式推理服务器，可以在多个GPU和多个节点之间进行分布式推理。有了Triton，GPT-3可以轻松运行在8-GPU服务器上；Megatron530B可以分布部署在两个DGX系统中，推理时间从1分钟缩短至半秒。

超大规模语言模型对于未来非常重要，它可以回答复杂问题，理解和总结长长的文档，实现翻译，组织语言、编写故事、写代码、理解人们的意图，也可以在没有人类监督的情况下自动完成训练，还可以无需样本，这意味着它们可以支持很多种不同领域的任务。

为超大规模语言模型构建系统，可能是未来最大的超算应用。由于算力需求远远超过GPU的能力发展速度，英伟达找到了几条新路。

「科学领域中，基于深度学习的软件革命正在发生，这个过程终将产生重要影响。在计算科学上三个相互关联的动态系统会让我们取得数百万倍的算力飞跃，」黄仁勋说道。

这三重加速，首先是计算加速，芯片、系统和加速库，再到应用的全栈式计算将会为我们带来50倍的速度提升。

其次是推动力，深度学习的兴起引发了现代AI革命，从根本上改变了软件。深度学习编写的软件具有高度并行性，这使其有助于通过GPU进行加速，而且可以扩展到多GPU和多接点。扩展到DGXSuperPOD这样的大型系统可以让速度再提高5000倍。

最后，通过深度学习编写的AI软件预测结果的速度能够比人类编写的软件快1000至10000倍，这彻底改写了我们解决问题的方式，甚至可以解决的问题。

「最高可以达到2.5亿倍，当然大家获得的结果会有所不同，这取决于你投资的规模。但如果问题能因此解决，投资就会到来。」黄仁勋说道。

2021博世中国x机器之心AIoT线上黑客松，20万奖金等你来赢！

10月15日至11月27日，互联交通、互联工业、碳中和、互联生活四大赛道以科技之名，看AIoT从业者有哪些新创意！

获奖创业团队/个人与博世中国合作；博世中国千元大礼包、机器之心2022年度1999元Pro会员；博世中国实习机会、机器之心合作网络企业实习推荐等，更多优厚福利等你来赛！

识别下方海报二维码，立即报名。

©THEEND

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com