北京快三走势如何学习代码常用的黑客代码大全电脑编程

  • 时间:
  • 浏览:5次
  • 来源:花色牛牛

  事实证明,你可以用1.7M的参数训练出风格迁移模型,然后只留下11868个参数,生成迁移图像。将模型量化后,原本7M的模型压缩到只有17KB,而迁移效果和原本模型差别不大:

  17KB是什么概念?一个模糊得不行的小头像,word中的10个文字,迅雷0.01秒内下载的文件……

  这项研究的作者、AI部署解决方案Fritz的联合创始人Jameson Toole在博客中表示,缩小模型真的“pretty easy”,只要你:

  一是要毫不留情地修剪层数和权重,二是要通过量化的方式,将32位的浮点权重转换成8位整数。下面分别细讲。

  神经网络的训练期间需要调整数百万甚至数亿个权重,一般来讲更多的权重意味着更高的准确性,但非常低效。

  假设一个神经网络可以大多数权重都没那么有用,可以删除,应该在什么层面去删?Toole认为主要有三种选择:修剪单个权重、层和模块等。

  权重方面:指一些网络中绝大多数(可能会95%)训练过的权重对结果没有帮助,确定哪些权重能提升网络准确性,将无用权重删去。

  层级方面:每个层中都有权重,2D的卷积层具有的权重张量被称为一个卷积核(kernel),包含宽度、高度和深度信息,缩小卷积核也是缩小模型的一种方法。

  模块方面:层通常会被组合在一起,形成可重复使用的子图,也就是一个模块。在这个层面的修剪会一次删除多个层,从而减小模型体积。

  宽度乘数能调整每个卷积层中滤波器的数量。如果层和宽度乘数alpha已经给定,那将滤波器的数量F改成F×alpha即可。

  通过这个超参数,我们能够利用李飞飞团队曾经发表的方法,生成架构相同但权重数量不同的连续网络,就像下面这样:

  当alpha=1.0时,生成网络的权重为1.7M,北京快三走势当alpha=0.5时,得到权重数量为424102个的一个网络。

  作者发现,没有办法大刀阔斧地修剪这些重复模块,北京快三走势参数数量固定时,更深的网络产生的结果更好。作者最终将五个残差块中删去了两个,并将每层的默认滤波器减少到32个。

  用上述架构,作者在反复试验后将宽度乘数调整到了0.3,北京快三走势每层中有9个滤波器,最终生成一个只有11868个权重的神经网络。

  通常大家会将网络权重存储成64位或32位的浮点数,所谓量化,就是将每一个浮点权重映射成位宽较低的整数。

  最终,用11868个参数构建的这个微型网络架构原始大小为1.7M,当用Google的移动端框架CoreML量化后,最终大小为17KB,仅为原始大小的0.25%。

  作者还发现,尽管模型大小缩小了400倍,但在iPhoneX上的运行速度只提高了50%,原因尚不明确。

  用简单两步操作将风格迁移模型大小减少99.75%的方法,这次你学会了吗?



分享到:

猜你喜欢

彩票平台颜夕卡盟平台qq技术网站小刀娱乐网

2018-12-26 @ 技术教程

外挂这个词感觉和DNF永远有扯不断的联系,大家最早的时候使用外挂是因为刷图困难,很多职业吃很多血药都不一定能打的过,一听有外挂这种东西还不赶紧用?况且当时腾讯对外挂的打击程度还

一分PC蛋蛋qq技术导航小刀娱乐网qq技术网刷钻教程网

2018-12-26 @ 技术教程

1、用自己的手机绑定号要刷的QQ号码!(刷之前提前绑定好!这一步很重要)-(移动/联通√)2、编辑短信:SVIP13发送到10661700(等待消息,一分PC蛋蛋会比较慢,5-

急速赛车lol三星白比赛lol比赛门票直播

2018-12-26 @ 比赛新闻

第七届英雄联盟全国高校联赛(特色场)将于12月13日来到了西安站,与各位游戏迷小盆友相约西安市长安区韦郭路288号4层清和电竞网咖啦!接下来就在12月13日,英雄联盟全国高校联

凤凰彩票比赛尘埃落定

2018-12-26 @ 比赛新闻

10月20日,2018CFPL秋季赛总决赛在中国重庆开战,对于这次的比赛,各位穿越火线的爱好者们都期待了很久了,本次总决赛的对阵双方是AG对战HG,凤凰彩票到底是经验老道的AG

电竞新闻电竞比彩票投资赛中国大学

2018-12-26 @ 比赛新闻

有很多的小伙伴们都想知道电竞孤儿是什么梗,下面小编为大家带来电竞孤儿意思、含义出处介绍,感兴趣的小伙伴们快来一起了解一下吧!作为网络语的该词,在不同的语境里面有着不同的释义,较