2011-02-04 24 views
0

我有一个需求来实现批处理系统,该系统将在Google App Engine(GAE)之外运行,批量处理来自RDBMS的数据并将其插入到GAE中。对数据存储的程序化远程访问

appcfg.py这是从各种输入文件做到这一点,但我想“手工”使用一些API来做到这一点,所以我可以完全控制过程的生命周期。 appcfg.py有内部使用的公共API吗?

我会在Python中编写一个守护程序,该守护程序在我的内部服务器上运行并监视某些MySQL表。在正确的条件下,它会从MySQL获取数据,处理数据,并使用GAE RemoteAPI将其发布到GAE应用程序。

回答

2

听起来像你已经知道该怎么做。用你自己的话说:“从MySQL获取数据,处理它,并使用GAE RemoteAPI发布它。” remote api docs甚至有写入数据存储的例子。

0

你可能会做什么(如果我理解你的问题是什么)使用的是Task Queue。有了这个,你可以定义一个任务,完成你期望的任务;

可以说你想插入东西到GAE数据存储。在某些服务器上准备插入文件。比去你的应用程序,并准备一个“开始插入任务”。点击后台任务将开始,读取该文件并将其插入数据存储区。

此外,如果每天执行该任务,则可以使用cron作业调用任务创建。

但是,如果你能说更多的工作,你必须执行它会更容易:-P

+0

这不完全是我在想什么。我会编辑我的问题。 – 2011-02-04 15:39:41

+0

你仍然可以做cron作业的被动,因为我不认为有一个“积极”的API。但是,仍然有可能将其作为表单提交。因此,正常的HTTPRequests,但变得棘手的安全 – Hons 2011-02-04 16:01:48