加入收藏 | 设为首页 | 会员中心 | 我要投稿 济宁站长网 (https://www.0537zz.cn/)- 行业智能、边缘计算、专有云、AI硬件、5G!
当前位置: 首页 > 站长资讯 > 传媒 > 正文

滴滴实习生提出自动结构化减枝压缩算法框架

发布时间:2021-03-04 16:46:15 所属栏目:传媒 来源:互联网
导读:表示,这一研究能替代人工设计的过程,并实现超高的压缩倍率,满足嵌入式端上运行深度模型的实时性能需求。 他们是如何实现的?我们下面一一解读。 自动化设置深度模型剪枝中的超参数 近年来,随着深度神经网络模型性能不断刷新,模型的骨干网络参数量愈发庞



表示,这一研究能替代人工设计的过程,并实现超高的压缩倍率,满足嵌入式端上运行深度模型的实时性能需求。

他们是如何实现的?我们下面一一解读。

自动化设置深度模型剪枝中的超参数

近年来,随着深度神经网络模型性能不断刷新,模型的骨干网络参数量愈发庞大,存储和计算代价不断提高,从而导致难以部署在资源受限的嵌入式平台上。

深度神经网络模型压缩技术,成为解决这一问题不可或缺的关键,也成为近年来研究热点之一。

也出现了不少方法,其中之一便是结构化剪枝(structured pruning),能够在平台层面上,解决硬件执行效率低,内存访问效率差,计算平行度不高问题,从而受到了学术界与工业界的重视。

但它也有“硬伤”,在算法实现过程中涉及到到大量的超参数设置。比如如何确定模型的压缩维度,或者如何确定模型中每层的压缩比例等等。

这都需要专家们一点点“掉头发”地去设计指导,而且人工上去设计这些超参数的过程冗长且复杂。

(编辑:济宁站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读