系统日志上的异常检测

Question

我想知道，如果有人知道计算机日志上的开源异常检测算法？例如，计算机日志如下所示：

“value UL-CCCH-Message :: = {integrityCheckInfo {messageAuthenticationCode 0，rrc-MessageSequenceNumber 0}，message cellUpdate：{u-RNTI {srnc-Identity 232 ，s-RNTI 178710}，startList {{cn-DomainIdentity ps-domain，start-value 58}}，am-RLC-ErrorIndicationRb2-3or4 FALSE，am-RLC-ErrorIndicationRb5orAbove FALSE，cellUpdateCause cellReselection，rb-timer-indicator {t314 -expired FALSE，t315-expired FALSE} measuredResultsOnRACH {currentCell {modeSpecificInfo fdd：{measurementQuantity cpich-Ec-N0：24}}}}“

有办法，我可以从日志中提取功能并应用异常检测时间序列数据，但也有另一种方法是，我会发现一般模式f如果将来的日志属于一般模式，则自动进行日志记录和制定规则/标准，如果不是那么它的异常。我想知道任何算法在日志中查找自动模式发现。

如果您有专业知识，请分享您的想法。

感谢 类方面， 腰带

Answer 1

直接回答你的问题是 - （？我想输出是从电信BTS，右）有没有开源的异常检测算法的计算机登录您呈现。

只是有异常检测算法 - 等频繁模式挖掘，k-均值等

晴，所有异常检测算法可作为用于Python，R，Matlab和等编程软件包的一部分。因此，我们不需要寻找算法。

现在我认为你真正的问题是：

有办法，我可以从日志中提取特征并运用时间序列数据异常检测，但也有另一种方式是，我会发现一般模式从日志自动制定规则/标准，如果未来日志属于一般模式，则不是其异常。我想知道任何算法在日志中查找自动模式发现。

上面没有现成的系统。我可以建议的最佳选择是：使用SumoLogic/Splunk或类似类型的解决方案来进行基于文本的搜索。这些工具将帮助你解决你的问题。但是，最终，这些异常的准确性将成为问题。

因此，答案是：您需要构建自定义的ML系统（具有特征提取+优化+算法+可视化）来解决检测时间序列BTS计算机日志中的异常问题。您的交付物（您正在交付的物品 - 异常，见解，分析）将对您将使用哪些算法，哪些功能和哪些参数产生重大影响。

我一直在使用上述软件已经超过一年半了，我真的建议你从小事情开始 - 比如基于文本的搜索软件 - 它可能足以满足日常技术支持故障排除。

P.S.小技巧 - 了解人们如何在网络安全中构建入侵检测系统 - 他们正在解决同样的问题（正常与异常异常，基于序列的分析等）。）

Answer 2

以下是基于这篇文章的方法：Enterprise search。它基于基于文本的搜索平台开发 - Apache Solr

1. 基于窗口分组日志，例如，时间窗口
2. 计算每个组或窗口的术语统计信息。即特征提取。
3. 应用基于异常信息
4. 的时间序列数据（项统计不同时间窗）一般异常检测算法来找出异常登录