简单的网络爬虫（例程）

Question

我是一个初学者程序员，我试图创建一个基于公共信息每天显示的公共信息（一个50行和5列的小表）的数据库。 我的理念是每天进入本网站4次，并存储在本网站上显示的表格。我需要一些帮助/提示以下几点，我相信我应该攻击，以建立此数据库：

1）我应该使用哪种编程语言？

2）我应该在哪里存储程序？

3）它将存储数据的位置？

4）程序应该如何工作？ [这里有两个问题：i）如何进入网站并存储数据; ii）如何每天在特定时间每天做4次]

任何有关这些问题的提示都会很棒。 谢谢

Answer 1

• 我会用JavaScript代码，更具体地说是Google Apps脚本。
• 程序（脚本）将被存储在谷歌驱动器
• 您可以将数据存储在谷歌电子表格或谷歌的ScriptDb
• 创建运行您的“更新”定时触发功能每日4次。
• • 使用UrlFetchApp（https://developers.google.com/apps-script/reference/url-fetch/url-fetch-app）来检索网页内容，解析内容，然后解析数据存储器到ScriptDb（https://developers.google.com/apps-script/guides/script-db/）
• • 时间驱动的触发器（https://developers.google.com/apps-script/execution_time_triggers）

您可以将您的脚本作为网络应用发布并允许人们查看您的结果如有必要。

Answer 2

如果你问我你应该使用什么语言，你必须真正开始程序员。我会回答这个问题：你知道什么语言？

在我看来，最简单的方法是小型php脚本，它可以将信息以文件或数据库的形式存储在一天四次的cron作业中。