为卷积神经网络选择训练图像

Question

目标是从图像本地化对象。我决定修改和培训一个现有的模型。但是，我不能决定我是否应该使用口罩或仅通过ROI来训练模型。

例如：对于第1类数据，只有第1类对象可以在图像上显示，其他区域将填充0，对于第2类我会做同样的事情，并且只会离开第二类是面具中的对象，第三和第四类也是如此。

第二种方式，使用投资回报率：我将裁剪图像中的每个类，而不使用蒙版，仅对感兴趣的区域进行裁剪。

然后，我希望能继续做类似的事情，这一点：https://github.com/jazzsaxmafia/Weakly_detector

我要选择的第一方式或第二？任何意见，如“你的计划将无法正常工作，试试这个”，也表示赞赏。

- 编辑 - 需要明确的是，

原图：http://s31.postimg.org/btyn660bf/image.jpg

第1'的方式使用口罩：

• 第1'类：http://s31.postimg.org/4s0pjywpn/class11.png
• 2级：http://s31.postimg.org/3zy1krsij/class21.png
• 3'rd类：http://s31.postimg.org/itcp5j09n/class31.png
• 4'rd类：
  • 第1'类：http://s31.postimg.org/4x4gtn40r/class1.png
  • 第2'使用的投资回报率http://s31.postimg.org/yowxv31gb/class41.png

  第1'的方法分类：http://s31.postimg.org/8s7uw7n6j/class2.png

• 三级：http://s31.postimg.org/mxdny0w7v/class3.png
• 4'rd类：http://s31.postimg.org/qfpnuex3v/class4.png

P.S：对象的位置将是非常相似的新的例子，也许使用面膜的方法可以更有效一点。对于ROI方法，我需要规格化每个尺寸大小不同的物体。然而，将整个图像掩模标准化可以保持原始图像之间的差异更小。

Answer 1

假设他们接受了大量高质量数据的训练，CNN通常对各种背景都非常有效。所以我猜想，使用面具和ROI方法之间的差异不会很大。对于它的价值，无论您使用哪种方法，您都需要规范您提供给CNN的图像的大小。

我已经实现了一些手势识别软件，并遇到类似的问题。我可以使用原始的，未处理的ROI，或者我可以使用预处理版本滤除大部分背景。我基本上都尝试过这两种方式，并比较了模型的准确性。就我而言，我能够从预处理的图像中获得稍好的结果。另一方面，我的图像中的背景更加复杂和多样。无论如何，我的建议是建立一个可靠的机制来测试模型的准确性，然后进行实验，以确定最佳效果。

老实说，最重要的是收集批次为每个类的好样品。就我而言，我一直看到实质性的改进，直到我每班上5000幅图像。由于收集大量数据需要很长时间，因此最好捕获并存储原始的全尺寸图像以及实际数据收集中涉及的任何元数据，以便您可以尝试不同的方法（掩蔽与投资回报率，变化的输入图像大小，其他预处理如直方图归一化等）而不必收集新数据。