我正在做计算机视觉领域的研究,并且正在研究与查找图像的视觉相似图像相关的问题。例如,找到具有类似图案的相似颜色的T恤(条纹/方格)或类似颜色和形状的鞋子等等。图像相似度 - 深度学习与手工制作功能
我已经探索了手工制作的图像特征,如颜色直方图,纹理特征,形状特征(面向梯度直方图),SIFT等。我还阅读了关于深度神经网络(卷积神经网络)的文献,这些网络已经接受了海量数据的培训,目前是图像分类领域的最新技术。
我想知道是否同样的功能(从CNN中提取)也可以用于我的项目 - 寻找图像之间的细微相似之处。据我所知,CNN学习了很好的代表性功能,可以帮助对图像进行分类 - 例如,无论是红色衬衫还是蓝色衬衫,还是橙色衬衫,都能够识别图像是衬衫。然而,它不明白橙色衬衫与蓝色衬衫看起来更像红色衬衫,因此无法捕捉到这些相似之处。
如果我错了,请纠正我。我想知道是否有任何深度神经网络能够捕捉到这些相似之处,并且已被证明优于手工制作的特征。提前致谢。
我不太明白这是你的意思,但是CNN是作为分类器进行端对端培训的,他们学到的功能基本上是这个的副产品。您通常不会将CNN仅用作特征提取器(尽管可能)。但也许我误解了你。 – cfh
是的,CNN被用作分类器。有一些预先训练过的模型可用,例如Overfeat,Caffe,它们已经在imagenet数据集上进行了训练,1000个类别中有超过一百万个图像。我已经读过,从这些网络的最后一层提取的特征可以用来训练自定义分类器(针对您自己的数据集),并且在分类http:// arxiv时,这些特征已经被证明优于手工特征。组织/ ABS/1403.6382。这些特征是否可以用于相似性计算(按照每个问题),还是这些模型必须进行不同的训练? – user3705926
是的,这当然值得一试。如果你有非常特殊的需求,比如你将橙色/红色衬衫与蓝色衬衫区别开来的例子等等,那么CNN根本就不需要学习这些非常具体的功能,在这种情况下,你需要更好地训练功能为您的用例。但是如果不尝试,这很难说。 – cfh