如何在Android中执行3D对象渲染的姿态估计

Question

我正在开发一个简单的AR应用程序，该应用程序在摄像头视图上呈现3D图像。我可以在Windows 7中成功实现它。我使用了OpenCv的本地POSE估计函数，它在内部使用POSIT算法，以便给出可应用于3D模型的翻译，旋转矩阵。

我想在Android应用程序中实现相同的功能。我面临的问题是，POSE估计函数的一个参数是相机内部和失真参数。我无法找到答案。 我尝试过研究各种AR平台--AandAR，ARToolKit等。但是在对它们的源进行逆向工程后，我可以得出关于在POSE估计中使用这些平台的任何结论。

请建议我姿态估计适当的方法（如果涉及照相机的失真参数，那么如何将我确定它），因此3D对象呈现在相机视图中的Android应用

Answer 1

OpenCV是一个很大的库中，如果您想弄清楚相机的内在参数，请参阅Camera calibration documentation，该方法为您提供执行相机校准的方法。其中许多功能也在Android OpenCV library中实施。

最后，您还可以使用Android附带的内部传感器获取Gravity, Linear Acceleration and Orientation。看到这个鼓舞人心的talk by David Sachs on how to use Sensor Fusion on Android。

Answer 2

我已成功地为移动设备执行相机校准。我用各种角度使用移动照相机点击棋盘卡扣，然后在C++摄像头校准代码中使用它们。

然后使用这些内在和外在摄像机参数，我试图做出POSE估计模块。

1. 我解析了XML文件并构建了矩阵。
2. 然后使用这个OpenCv教程 - OpenCv POSIT。我能够执行POSE估计。

但是，我还没有检查它在真实程序中的可信度。但理论上它的可实现性和代码不会给出任何构建或编译错误。