搜索elmah错误日志文件（也许在1000年）

Question

我们有一个XML格式的elmah错误日志文件夹。这些文件将以百万为单位，每个文件的大小可能高达50 kb。我们需要能够搜索文件（例如：发生了什么错误，哪些系统失败等）。我们是否有一个开源系统来索引这些文件，并可能帮助我们使用关键字搜索文件？我看过Lucene.net，但似乎我将代码应用程序。 请指教。

Answer 1

如果您需要在XML文件夹中存在日志，elmah-loganalyzer可能有用。

您还可以使用微软的日志分析器“喜欢SQL”在XML文件的查询执行：

LogParser -i:XML "SELECT * FROM *.xml WHERE detail like '%something%'" 

编辑：

你可以使用的Nutch + SOLR或logstash +弹性搜索的组合作为索引解决方案。

• http://wiki.apache.org/nutch/NutchTutorial
• http://lucene.apache.org/solr/tutorial.html

• http://blog.building-blocks.com/building-a-search-engine-with-nutch-and-solr-in-10-minutes

• http://www.logstash.net/

• http://www.elasticsearch.org/tutorials/using-elasticsearch-for-logs/
• http://www.javacodegeeks.com/2013/02/your-logs-are-your-data-logstash-elasticsearch.html

Answer 2

我们是几个开发人员在做网站http://elmah.io。 elmah.io索引您的所有错误（在ElasticSearch中），并可以进行时髦搜索，组错误，隐藏错误，时间过滤错误等等。我们目前处于测试阶段，但如果您注册http://elmah.io，您将获得测试版网站的链接。

不幸的是，elmah.io不会导入您现有的错误日志。我们将开源一个ELMAH ErrorLog类型的实现，它会在您自己的ElasticSearch中为您的错误建立索引（请注意项目的https://github.com/elmahio）。同样，这个错误记录器不会索引现有的错误日志，但是您可以实现一个解析器，它通过XML文件运行，并使用我们的开源错误记录器对所有内容进行索引。如果您不想在ElasticSearch之上实施新的用户界面，也可以通过我们的API直接将错误导入到elmah.io。