东升国际官网

申请试用
登录
  • hd-share-img01
主题技术
以原创技术系统为根基,SenseCore东升国际官网AI大装置为主题基座,布局多领域、多方向前沿钻研,
急剧买通AI在各个垂直场景中的利用,向行业赋能。

港中文开源视频作为分析库MMAction,指标检测库算法大更新

2019-06-20

OpenMMLab 打算是香港中文大学多媒体尝试室(MMLab)2018 年启动的打算,由香港中文大学教授、东升国际官网科技结合首创人林达华教员掌管,初衷是「为推算机视觉的一些沉要方向成立统一而盛开的代码库,并不休把新的算法沉淀其中。」

2018 年 10 月,在 OpenMMLab 的首期打算中,东升国际官网和港中文正式开源了 mmdetection,这是一个基于 PyTorch 的开源指标检测工具包。该工具包支持 Mask RCNN 等多种盛行的检测框架,读者可在 PyTorch 环境下测试分歧的预训练模型及训练新的检测宰割模型。

昨日,林达华颁发知乎文章,颁布 OpenMMLab 第二期内容: 

  1. MMDetection(指标检测库)升级到 1.0,提供了一大批新的算法实现。

  2. MMAction(作为鉴别和检测库)全新颁布。

MMDetection 1.0

Github 地址:open-mmlab/mmdetectiongithub.com 

最新的 MMDetection 是 MMLab 结合东升国际官网科技以及十多个钻研团队合作实现的。据介绍,相较于其他开源数据库,MMDetection 1.0 的优势如下:

  1. 高度?榛纳杓。通过分歧检测算法流程的分化,形成一系列可定造的?。而后对这些?榻兴婊楹,能够迅速搭建分歧的检测框架。

  2. 多种算法框架支持。MMDetection 直接支持多种主流的指标检测与事俘宰割的算法框架,蕴含 single-stage、two-stage、multi-stage 等多种典型架构,以及各类新型?。此表,MMDetection 还提供了 200 多个预训练的模型。

  3. 高推算机能。MMDetection 所支持的重要?榫茉 GPU 上运行。整体的训练速杜着于 Detectron、maskrcnn-benchmark、以及 SimpleDet。出格值得一提的是,MMDetection 还直接支持混合精度训练以及多卡结合训练,这些技术的引入都能显著提高训练的效能。

  4. 先进算法。MMDetection 提供了在 MSCOCO 2018 角逐中夺冠的 HTC 算法。随着越来越多钻研团队参与到 mmdetection 的开发中,MMLab 钻研团队将持续维持和最新算法的同步。

此表,MMLab 也颁布了一份技术汇报,对 MMDetection 进行了具体介绍。

5dbad6312676e.jpg

从机构名称中,我们能够发现 MMDetection 的颁布结合了国内表 13 所机构。

汇报链接:https://arxiv.org/abs/1901.11356

该汇报还提供了 MMDetection 与其他开源库的对比,能够看到 MMDetection 提供的算法远比其他开源库丰硕:

5dbad64bd305a.jpg

MMDetection 与其他开源库的对比

MMLab 的钻研团队还在 MMDetection 的基础上对有关算法进行了全方位的对比试验。他们比力了损失函数、归一化战术、训练尺度等一系列设计参数的选择对于检测机能的影响。

视频作为分析库 MMAction

林达华介绍路,「在深度进建刚刚起头进入推算机视觉领域的时辰,MMLab 已经起头了对使用深度进建进行视频作为分析的钻研,提出了一系列有影响的算法框架。好比,我们在 ECCV 2016 提出的时序分段网络(Temporal Segmental Network)已经被宽泛使用于现实系统中,并影响了好多新的算法设计。」

基于从前几年的索求,MMLab 成立了专门用于视频作为分析的统一代码库 MMAction。

项目地址:https://github.com/open-mmlab/mmaction

据介绍,MMAction 有以下沉要利益:

  1. 全面支持视频作为分析的各类工作,蕴含作为鉴别(action recognition)、时域作为检测(temporal action detection)以实时空作为检测(spatial-temporal action detection)。

  2. 支持多种盛行的数据集,蕴含 Kinetics、THUMOS、UCF101、ActivityNet、Something-Something、以及 AVA 等。

  3. 已实现多种作为分析算法框架,蕴含 TSN、I3D、SSN、以及新的 spatial-temporal action detection 步骤。MMAction 还通过 Model Zoo 提供了多个预训练模型,以及它们在分歧数据集上的机能指标。

  4. 选取高度?榛杓。用户能够凭据必要对分歧?,好比 backbone 网络、采样规划等等进行矫捷沉组,以满足分歧的利用必要。



产品试用
填写此单一表格,我们将尽快联系您!
商务合作
400 900 5986
周一至周五 9:00-12:00,13:00-18:00
合作同伴招募
【网站地图】