当前在线人数15352
首页 - 分类讨论区 - 电脑网络 - 葵花宝典版 - 同主题阅读文章

此篇文章共收到打赏
0

  • 10
  • 20
  • 50
  • 100
您目前伪币余额:0
未名交友
[更多]
[更多]
CIFAR10和卷积
[版面:葵花宝典][首篇作者:guvest] , 2019年07月12日00:39:52 ,378次阅读,8次回复
来APP回复,赚取更多伪币 关注本站公众号:
[分页:1 ]
guvest
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 1 ]

发信人: guvest (我爱你老婆Anna), 信区: Programming
标  题: CIFAR10和卷积
发信站: BBS 未名空间站 (Fri Jul 12 00:39:52 2019, 美东)

我发明了个算法。没有参数,不做预处理。CIFAR10 40%准确率。模型大概是20张图大
小的size。

我现在感觉没有卷积。准确率无法超过50%。但是有了卷积,不需要训练,手工当滤波
器设计,据报道也可以到70%。所以卷积其实是imagine的domain specific knowledge
。不知到这个看法对不对。

--
※ 来源:· 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 47.]

 
wdong
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 2 ]

发信人: wdong (万事休), 信区: Programming
标  题: Re: CIFAR10和卷积
发信站: BBS 未名空间站 (Fri Jul 12 00:59:08 2019, 美东)

卷积目前看来就是最接近图像本质的一种操作。
不需要训练这个需要存疑,毕竟按目前的科技发展水平,CIFAR10做到接近90%是
很基础的事情。70%-90%的区别还是相当大的。

卷积本质上其实是用暴力扫描的方式进行模式匹配。不光是图像。
训练其实本质上是一种聚类,找出模式的过程。找出来的模式确实是
domain specific knowledge。

适用范围是:
1. 模式(channel个数)种类比较少。几十上百个。
多层神经网络对应的是复杂模式的分解。

2. 具有扫描结构。比如图片音频字符串这些,扫到任何位置,
任何模式都有可能出出现, 同一个模式会反复在不同位置出现。
这样本质上每个位置都可以认为是一个训练样本。


我前阵子有个项目试图把卷积网络推广到网络结构,效果就不好。
网络上其实是有自然的 neighborhood定义的,并且套上
ontology,还可以搞出来层次结构。问题就出现在“同一模式
会反复在不同位置出现”。 我搞的那个gene ontology,每个
位置都是特殊的,没有“同一模式会反复在不同位置出现”这个
特点。最后分数没能超过xgboost,很可惜。







【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 我发明了个算法。没有参数,不做预处理。CIFAR10 40%准确率。模型大概是20张图大
: 小的size。
: 我现在感觉没有卷积。准确率无法超过50%。但是有了卷积,不需要训练,手工当滤波
: 器设计,据报道也可以到70%。所以卷积其实是imagine的domain specific
knowledge
: 。不知到这个看法对不对。



--

※ 修改:·wdong 于 Jul 12 01:02:54 2019 修改本文·[FROM: 108.]
※ 来源:·BBS 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 108.]



 
guvest
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 3 ]

发信人: guvest (我爱你老婆Anna), 信区: Programming
标  题: Re: CIFAR10和卷积
发信站: BBS 未名空间站 (Fri Jul 12 01:13:28 2019, 美东)

Xgboost跑cifar 10, out of box我看到也不到40%。

https://arxiv.org/pdf/1710.11547.pdf
//arxiv.org/pdf/1710.11547.pdf
Page 9.

考慮到xgboost在表格式數據中大面積佔優。似乎可以說明
圖像和常見的tabular 數據,在本質上看來是不同的。



【 在 wdong(万事休) 的大作中提到: 】
<br>: 卷积目前看来就是最接近图像本质的一种操作。
<br>: 不需要训练这个需要存疑,毕竟按目前的科技发展水平,CIFAR10做到接
近90%是
<br>: 很基础的事情。70%-90%的区别还是相当大的。
<br>: 卷积本质上其实是用暴力扫描的方式进行模式匹配。不光是图像。
<br>: 训练其实本质上是一种聚类,找出模式的过程。找出来的模式确实是
<br>: domain specific knowledge。
<br>: 适用范围是:
<br>: 1. 模式(channel个数)种类比较少。几十上百个。
<br>: 多层神经网络对应的是复杂模式的分解。
<br>: 2. 具有扫描结构。比如图片音频字符串这些,扫到任何位置,
: ...................
<br>

--
※ 修改:·guvest 於 Jul 12 01:15:22 2019 修改本文·[FROM: 47.]
※ 来源:· 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 47.]

 
guvest
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 4 ]

发信人: guvest (我爱你老婆Anna), 信区: Programming
标  题: Re: CIFAR10和卷积
发信站: BBS 未名空间站 (Fri Jul 12 01:21:41 2019, 美东)

Btw,我前面說不訓練的前置濾波器。就是最近也有不少人做的所謂wavelets
scattering 。
在好幾年前,70%多的cifar 10還算不錯。
這個我不太懂。當時看了下和設計濾波器差不多。高通低通,算一算猜一猜。


【 在 guvest(我爱你老婆Anna) 的大作中提到: 】
<br>: Xgboost跑cifar 10, out of box我看到也不到40%。
<br>: https://arxiv.org/pdf/1710.11547.pdf
<br>: //arxiv.org/pdf/1710.11547.pdf
<br>: Page 9.
<br>: 考慮到xgboost在表格式數據中大面積佔優。似乎可以說明
<br>: 圖像和常見的tabular 數據,在本質上看來是不同的。
<br>:



--
※ 修改:·guvest 於 Jul 12 01:22:44 2019 修改本文·[FROM: 47.]
※ 来源:· 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 47.]

 
lsunspot
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 5 ]

发信人: lsunspot (小手), 信区: Programming
标  题: Re: CIFAR10和卷积
发信站: BBS 未名空间站 (Fri Jul 12 08:59:56 2019, 美东)

可惜弃婴不在了。弃婴讲过卷积的物理意义

--
☆ 发自 iPhone 买买提 1.24.10
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 100.]

 
lightroom
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 6 ]

发信人: lightroom (吃一条鱼,思考一个问题,法号三丰), 信区: Programming
标  题: Re: CIFAR10和卷积
发信站: BBS 未名空间站 (Fri Jul 12 11:49:18 2019, 美东)

有一片关于random weight的文章
https://ai.stanford.edu/~ang/papers/nipsdlufl10-RandomWeights.pdf

Yann LeCun的评价是不是新发现,大数据上效果不行,还是要训练

【 在 guvest (我爱你老婆Anna) 的大作中提到: 】
: 我发明了个算法。没有参数,不做预处理。CIFAR10 40%准确率。模型大概是20张图大
: 小的size。
: 我现在感觉没有卷积。准确率无法超过50%。但是有了卷积,不需要训练,手工当滤波
: 器设计,据报道也可以到70%。所以卷积其实是imagine的domain specific
knowledge
: 。不知到这个看法对不对。



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 198.]

 
guvest
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 7 ]

发信人: guvest (我爱你老婆Anna), 信区: Programming
标  题: Re: CIFAR10和卷积
发信站: BBS 未名空间站 (Fri Jul 12 12:33:16 2019, 美东)

我觉得scattering transform和这个随机权重不一样。

随机权重确实not new。这派的理论是,人脑子一发热,都是一样的,人脑子里都是一
盆浆糊。
就皮层那一点在学习。所以就训练最后一层完事。关键是在什么地方随机。

现在有人做随机RNN,然后加线性分类器。还发了个science的文章。
成立了个什么IEEE reservior computing组织。

scattering transform我觉得学术上更合理些。(我只看了几眼,不保证理解正确)。
这就好比先验的我们知道一个信号是不变性的,例如周期信号,那么就用cos来表示。

既然图像平移和旋转之后,label不变。那么就找内蕴符合这个不变性的函数空间。然后
图像在这个空间里找坐标,这就是图像的新表示。比原来的RGB包含了domain知识。
然后在这个新表示之下,再做前向或者CNN网络。(一些文章里的图,新的这个表示空
间,
就是几个分层的圆圈)。我觉得这个思路不一定要小波来做,别的办法也可以做。

【 在 lightroom (吃一条鱼,思考一个问题,法号三丰) 的大作中提到: 】
: 有一片关于random weight的文章
: https://ai.stanford.edu/~ang/papers/nipsdlufl10-RandomWeights.pdf
: Yann LeCun的评价是不是新发现,大数据上效果不行,还是要训练
: knowledge


--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 38.]

 
Caravel
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 8 ]

发信人: Caravel (克拉维尔), 信区: Programming
标  题: Re: CIFAR10和卷积
发信站: BBS 未名空间站 (Fri Jul 12 14:00:56 2019, 美东)

深度学习的卷积其实是correlation
【 在 lsunspot (小手) 的大作中提到: 】
: 可惜弃婴不在了。弃婴讲过卷积的物理意义

--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 12.]

 
nowhere7
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 9 ]

发信人: nowhere7 (折腾), 信区: Programming
标  题: Re: CIFAR10和卷积
发信站: BBS 未名空间站 (Fri Jul 12 14:31:18 2019, 美东)

mark
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 70.]

[分页:1 ]
[快速返回] [ 进入葵花宝典讨论区] [返回顶部]
回复文章
标题:
内 容:

未名交友
将您的链接放在这儿

友情链接


 

Site Map - Contact Us - Terms and Conditions - Privacy Policy

版权所有,未名空间(mitbbs.com),since 1996