本周，在 CVPR 上，特斯拉人工智能高级总监安德烈·卡尔帕蒂公布了这家汽车制造商正在使用的内部超级计算机，用于训练自动驾驶和自动驾驶能力的深度神经网络。该集群使用 720 个节点的 8 倍 NVIDIA A100 张量核心 GPU（共 5,760 个 GPU），以实现行业领先的 1.8 exaflops 性能提升。
卡帕蒂说：“这是一台令人难以置信的超级计算机。”“其实我相信，就 flops 而言，这大概就是世界第五的超级计算机 。 ”
特斯拉将汽车行业前所未有的计算水平置于其开发周期的中心，这使得自动驾驶汽车工程师能够高效地、处于领先地位。
NVIDIA A100 GPU 提供各种规模的加速，为世界上性能最好的数据中心提供动力。 A100 GPU 由 NVIDIA 安培架构提供支持，比上一代提供高达 20 倍的性能，并可以分为七个 GPU 实例，以动态调整需求的变化。
GPU 集群是特斯拉垂直集成自动驾驶方法的一部分，该方法使用已经在路上行驶的 100 多万辆汽车来完善和构建新功能，以进行持续改进。
特斯拉的周期性发展始于汽车。在 “影子模式” 中运行的深度神经网络在汽车行驶时悄悄感知并做出预测，而实际上并没有控制车辆。
这些预测被记录下来，任何错误或错误识别都被记录下来。然后，特斯拉工程师使用这些实例创建一个困难和多样化场景的培训数据集，以完善 DNN 。
结果是收集了大约 100 万个 10 秒的剪辑，以每秒 36 帧的速度记录下来，总计高达 1.5 兆字节的数据。然后，DNN 在数据中心反复运行这些场景，直到它运行时没有错误。最后，它被送回车辆，然后重新开始这个过程。
Karpathy 说，以这种方式和在如此大量数据上训练 DNN 需要 “大量的计算”，这导致特斯拉构建和部署了具有高性能 A100 GPU 的当前一代超级计算机。
除了全面培训外，特斯拉的超级计算机还为自动驾驶车辆工程师提供了在开发过程中进行实验和迭代所需的性能。
Karpathy 说，汽车制造商正在部署的当前 DNN 结构允许一个由 20 名工程师组成的团队同时在一个网络上工作，将不同的功能隔离起来进行并行开发。然后，这些 DNN 可以以比以前快速迭代的速度运行在训练数据集中。
“计算机视觉是我们工作和黄油的面包和黄油，并使自动驾驶仪成为可能。要做到这一点，你需要训练一个巨大的神经网络并进行大量的实验。”Karpathy 说。 “这就是为什么我们在计算上投入了很多钱。”