近些年，AI科技革命为世界和人们的生涯带来巨大扭转，而这一轮AI海潮发作的主题就是深度进建。2014年，东升国际官网科技自主研发了深度进建训练框架SenseParrots，成为东升国际官网发展原创AI技术的基石。

日前，在2019世界人为智能大会上进行的WAIC开发者日活动上，东升国际官网科技结合首创人、香港中文大学-东升国际官网科技结合尝试室主任林达华，分享了《SenseParrots：AI推算平台从技术到价值之路》的主题演讲，讲述了东升国际官网若何走上自研训练框架的路路，若何一步步地把它从一个技术框架发展为一个工业级的模型出产平台，为东升国际官网以AI技术赋能百业提供有力的支持。

如下为林达华演讲的沉要部门选录：

女士们，先生们，各位伴侣，早上好。感激机械之心提供了这么好的机遇，让对深度进建框架有兴致的伴侣在一路进行互换。我也极度荣幸能在这里和各人做分享。

今天，我想和各人讲一个故事，一个关于东升国际官网原创的故事。在这个故事里，我但愿和各人分享，我们若何走上自研训练框架的路路，若何一步步地把它从一个技术框架发展为一个工业级的模型出产平台，为东升国际官网以AI技术赋能百业提供有力的支持。

增长的算力和利用场景推进AI成功

让我们从身处的这个大时期讲起吧。正如我们在这个大会上能够见到，这几年AI科技革命已经给东升国际官网世界、东升国际官网生涯带来了巨大的扭转。

这一轮AI海潮的发作，在我看来，不是单一身分的了局。它是深度进建算法、以GPU为代表的高机能算力、以及大数据的堆集，汗青性地汇聚在一路而促成的。从前七八年深度进建汹涌澎湃的发展过程中有几次沉要的标志性事务：2012年AlexNet获得了图像识此外突破，并在昔时ImageNet角逐夺冠；接下来，新的网络结构层出不穷，从VGG到ResNet，图像识此外正确率不休被刷新；到了2017年，深度进建在天然说话处置也获得了沉大突破；2019，从零起头训练的AlphaGo Zero横空出世。这些事务，一次接一次地址燃了人们对AI的周到和向往。

当我们从一个大的功夫尺度去观察，我们会发现，这些成就的背后，不仅仅是算法模型的改进，它也蕴含着另表一个沉要的趋向，就是算力的指数增长。这几年，新模型所必要的算力持续增长，从AlexNet到AlphaGo Zero，短短几年，算力增长超过30万倍。

从某种意思上说，这几年AI的巨大成功，其实是指数增长的算力和有价值的利用场景产生衔接的了局。而深度进建框架是这种衔接背后最沉要、最主题的技术支持。

原创之路 异常艰苦

在这一轮AI科技海潮中，东升国际官网走到今天，成为一个当先的Al企业，主题在于两个字：原创。此刻，深度进建能够说是尽人皆知，但是在七年前，这个名词还没有几多人知路。在2012年，整个CVPR接管的论文之中，只有两篇和深度进建有关，都是来自于我们尝试室。2013年，ICCV有8篇深度进建有关的论文，6篇是来自我们。因而，我们在GTC 2016年被评为世界前十人为智能前锋尝试室之一，也是亚洲唯一入选的。我想这段幼汗青很好地诩蚁缢东升国际官网的原创心灵。

在我们最初索求深度进建的时辰，没有TensorFlow，没有PyTorch，甚至没有GPU。我们必要手写C++法式来实现整个推算过程，训练一个模型必要一两个月。正是在这样的环境中，我们一步步启发出深度进建的视觉利用之路；也正是由于经历了这样的艰苦，我们深切地意识到训练框架的主题意思，能够说，训练框架界说了算法研发的空间，框架的空间有多大，我们就能走多远；框架的能力有多强，我们就能走多快。

因而，从东升国际官网创建之初，我们就决定了要研发自己的训练框架。这背后有三点思考：第一，我们在研发过程中会有好多和社区不一样的需要，我们必要实时提供技术支持；第二，当我们有了自研的框架，在算法和技术上有底气选择自己的发展路路，而不受造于开源框架提供的能力；第三，我们但愿在研发训练框架的过程中，不休成立我们在基础系统层面的主题技术堆集，让我们不仅在算法层面也在系统层面走在前列。

我们把这个训练框架定名为SenseParrots，这个名字寄托了我们优良的祝福，聪明俏丽，又能自由飞舞。

SenseParrots破茧化蝶

从2014年到此刻，将近5年功夫，SenseParrots和东升国际官网共同成长。在2015年，我们险些和TensorFlow同时推出第一代SenseParrots在内部颁布并投入使用，率先具备了多机多卡结合训练和多蹊径执行等当先业界的个性。

三年之后，第二代SenseParrots颁布，这一代它不只拥有了一系列越发沉要的、矫捷的、高机能的个性，并且也逐步成为了东升国际官网赋能AI产业的战术支持。

第一代SenseParrots专一于静态网络多机多卡的优化。通过对推算调度、内存分配、数据IO、通讯协一致结合深刻优化，它在2015年颁布时已经在静态卷积网络训练上展示了超过同时期开源框架的卓越机能。

通过极致的内存优化，SenseParrots能够在有限的显存里训练超大型的网络；通过通讯和IO的优化，它实现了在64卡上靠近线性的加快。

在这第一代SenseParrots上，我们训练了一个1207层卷积神经网络，这是已公开的最深的卷积神经网络；我们还研发了PolyNet，突破了其时单网络在ImageNet图像鉴别上的机能纪录，并把这个纪录维持了将近一年。有了这些机能强劲的网络支持，我们在ImageNet和ActivityNet等一系列角逐中获得多个冠军。

东升国际官网目前已经成立了齐全的平台技术栈，它从底而上分为四个档次。最底下是基础系统，重要提供存储、网络、工作调度、集群治理等基础的系统能力；在基础系统之上，我们成立了SenseParrots。第二代的SenseParrots已经从一个单一的训练系统，发展为一个拥有全方位能力的AI模型出产系统。在这个别下凤面，我们发展了一系列蕴含从表白、编译、调度、推算、通讯、以及模型部署的一系列技术？。在SenseParrots的支持上，我们成立了算法工具链，里面蕴含了东升国际官网业务所需的各类根基算法组件；最上面一层，是各个垂直业务方向的利用平台。

深度进建走出尝试室迈向产业落地

固然我们获得了一些成就。但是，AI的发展可谓一日千里。若是我们不能把握技术发展的脉络，就会落后于时期。

其功夫来到2015年，深度进建这个领域也起头产生了好多深刻的变动。最沉要的一个变动是深度进建技术起头走出尝试室，迈向大规模的产业落地。在这个大趋向下，技术层面也出现了好多新的趋向：

首先，编程模式从静态网络结构描述向动态推算过程转变，这让我们能够钻研更矫捷的算法，表白在工业级场景所必要的更复杂的逻辑。

第二，深度模型走出了尝试室机房，落地到了更多样化的设备，好比手机、摄像头、汽车和机械人。

第三，各人确把稳力起头从在各大角逐中刷榜，逐步转到了更有价值的工作，在真正的产品中落地。我们不再不惜价值地钻营大模型高精度，而是更多地关注机能和价值的平衡。这种新的钻营催生了好多新的索求，好比像Mobile Net这样专为移动端设计的网络结构，又好比量化和模型压缩。

第四，人们起头关注出产力的价值，让AI去解决AI研发过程中的沉复劳动。因而，各类自动化步骤，好比自动设计网络结构、自动设计损失函数等等起头成为新的热点。

在这些繁花似锦的技术和利用创新背后，我们能够看到，AI的技术发展从单一的精度较量，造成了多元的价值钻营。这是任何一项技术从尝试室走向产业的必经之路。

AI产业化所带来的新技术趋向、更多元的钻营，也给训练平台的将来发展提供了新的空间。

固然在从前的几年，主流的开源框架好比TensorFlow和PyTorch的生态逐步成熟，但是它们更多是面向遍及利用的，它们所提供的能力和AI产业化的需要依然存在着很大的距离。

东升国际官网愿景是让AI赋能百业，就不成预防必要面对上面的这些问题。对于SenseParrots来说，这是挑战，也是沉要的机缘。

东升国际官网经过近五年的发展，已经让AI技术深刻落地到十几个行业，为数以百计的大型企业赋能。这种宽泛而深刻的落地实际，是AI推算平台研发的丰沃泥土，也是东升国际官网怪异优势。扎根在东升国际官网的业务泥土，我们能在第一线深切相识到AI产业化的重要挑战和痛点，也走出了分歧于主流开源框架的差距化路路。

东升国际官网定位，是打造一个面向AI产业赋能的推算平台。具体来说，东升国际官网平台有三个沉要的研发指标：首先，全面支持业务领域内的工业级利用，出格的是支持工业级模型，蕴含拥有复杂逻辑的动态模型的大规模训练；第二，针对东升国际官网业务场景，进行极致优化，成立产等第的主题竞争力；第三，我们也关注钻研员的出产力，全面提高研发和产品迭代的速度。

因而，在第二代SenseParrots研发过程中，我们超过了对个别机能指标的钻营，以越发全局的角度审视东升国际官网发展蹊径，力求真正为AI产业赋能带来价值。我们向往十年之后，在东升国际官网世界里AI将会无处不在，在这样的世界里，AI不会取代人类，它将在东升国际官网生涯，在东升国际官网工作，在我们世界的方方面面，成为我们最可信任的技术。我们在朝着这样的愿景，朝着这样的指标致力，也但愿与在座的各位共勉。