Watson Discovery抓取工具：无法加载JDBC驱动程序

我正在尝试为我的Watson发现服务设置本地mongodb抓取工具。 MongoDB正在运行。我下载了JDBC连接器（mongodb-driver-3.4.2.jar）并将其放置在/opt/ibm/crawler/connectorFramework/crawler-connector-framework-0.1.18/lib/java/database/Watson Discovery抓取工具：无法加载JDBC驱动程序

设置我告诉你我是如何修改的配置文件：

在crawler.conf，在一节中“input_adapter”我改变了以下值：

crawl_config_file = "connectors/database.conf", 
crawl_seed_file = "seeds/database-seed.conf", 
extra_jars_dir = "database",

在种子/数据库seed.conf，在种子>属性部分，url的部分看起来像这样：

{ 
    name ="url", 
    value="mongo://localhost:27017/local/tweets?per=1000" 
},

（试图也使用的mongodb代替蒙戈）

在连接器/ database.conf，该文件的第一部分看起来像这样：

crawl_extender { 
    attribute = [ 
    { 
     name="protocol", 
     value="mongo" 
    }, 
    { 
     name="collection", 
     value="SomeCollection" 
    } 
    ],

（使用的mongodb代替蒙戈也试过）

当我运行的履带式命令，这是我的输出：

[email protected]:~$ crawler crawl --config ./crawler-config/config/crawler.conf 
2017-08-02 04:29:10,206 INFO: Connector Framework service will start and connect to crawler on port 35775 
2017-08-02 04:29:10,460 INFO: This crawl is running in CrawlRun mode 
2017-08-02 04:29:10,460 INFO: Running a crawl... 
2017-08-02 04:29:10,465 INFO: URLs matching these patterns will be not be processed: (?i)\.(xlsx?|pptx?|jpe?g|gif|png|mp3|tiff)$ 
2017-08-02 04:29:10,500 INFO: HikariPool-1 - Starting... 
2017-08-02 04:29:10,685 INFO: HikariPool-1 - Start completed. 
2017-08-02 04:29:12,161 ERROR: There was a problem processing URL mongo://localhost:27017/local/tweets?per=1000: Couldn't load JDBC driver : 
2017-08-02 04:29:17,184 INFO: HikariPool-1 - Shutdown initiated... 
2017-08-02 04:29:17,196 INFO: HikariPool-1 - Shutdown completed. 
2017-08-02 04:29:17,198 INFO: The service for the Connector Framework Input Adapter was signaled to halt. 
Attempting to shutdown the crawler cleanly.

我在想什么或干什么在我的抓取工具中出现错误？

来源

2017-08-02 Roland Pish

看起来您需要一个适用于MongoDB的JDBC 3.0兼容驱动程序来[将您的数据存储库连接到每个IBM的爬网]（https://www.ibm.com/watson/developercloud/doc/discovery/data-crawler-seeds的.html＃配置数据库抓取选项）。您可以尝试来自经MongoDB认证的DataDirect的[商用MongoDB JDBC]（https://www.progress.com/jdbc/mongodb）驱动程序。请注意，我受Progress的使用。 –

为了测试的缘故，我尝试了使用MySQL及其连接器与JDBC 3.0兼容并发生相同的错误。我不知道为什么抓取程序无法加载除捆绑的其他JDBC驱动程序以外的其他JDBC驱动程序，并且我无法找到足够的文档说明如何解决此问题。 –

最后，我发现我还必须在其中一个配置文件中指定连接字符串。它现在有效。

来源

2017-08-28 16:40:03

Watson Discovery抓取工具：无法加载JDBC驱动程序

回答

相关问题