如何做日志挖掘？

Question

为了从我们的wxPython的开发的专有桌面工具之一弄清楚（或者猜测）的东西，我注射几类表示敬意的方法记录装饰。每个日志记录如下所示：

眼下，还有比在数据库3M日志记录更多，我开始思考“我可以从这些东西能得到什么？”。通过一段时间（例如，一个星期）（克拉斯，法）

• 命中率：我能得到这样一些信息。
• 按记录计数的高级用户。
• 通过损失的近似碰撞率关闭日志相比于开放日志。

我猜相关技术可能是日志挖掘。有没有人有任何想法，我可以从这个非常简单的日志中获取更多信息？我真的很想从中获得更多的东西。

Answer 1

SpliFF是正确的，你必须决定哪些问题对您很重要，然后搞清楚，如果你收集正确的数据来回答他们。理解这类运营数据可能非常有价值。

你可能想通过看，如果你能回答一些基本问题，然后移动到更坚硬的材料，一旦你有你的日志收集和分析，建立工作流程开始。您可能会考虑的一些长期问题：

• 什么是“常见”中遇到的最常见，最严重的错误，按频率和影响排列。 数据：如果可能，捕获堆栈跟踪/调用点和方法参数。
• 您可以简化用户执行的一些常见操作吗？如果X最常见，可以减少步骤数量，还是可以简化个别步骤？ 数据：常见工作流的会话，点击流。按使用频率，步骤数量和复杂程度排列的功能。
• 某些功能可能会产生混淆，有冲突的选项，从而导致用户的错误。用户备份多次重复一个步骤，或从头开始重复的会话可能会说明问题。

您可能还想通知用户，出于质量目的收集数据，甚至在应用程序界面中请求一些反馈。

Answer 2

模式！

模式前述故障。假设失败已记录，现在考虑探索这些问题：

• 在它之前的klass方法组合的顺序是什么？
• 其他组合呢？
• 在相同的故障之前它总是一样的序列吗？
• 一系列轻微故障是否发生在重大故障之前？
• 等

一个比较图案可以是这样的方式：

1. 分类每个消息
2. 表示每个类/类型与一个唯一的ID，所以你现在有ID的序列
3. 将序列切成时间段进行比较
4. 将切片（ID数组）与切片算法进行比较
5. 保留期间样本以建立共同模式，然后比较同一时期的新样本以确定异常程度