SQL Server中的BM25实现

我试图在SQL Server 2008 R2中实现BM25算法时遇到了一个问题。我知道SQL Server包含全文搜索选项，该选项已经实现了BM25的一个变体，但我想做一些测试，并且由于FTS程序是不可编辑的（据我所知），我决定自己实现它。SQL Server中的BM25实现

我有两个表，TF（词频）和DF（文档频率）具有以下结构：

*注：重量栏表示单词的重要性（它被通常为1种）

ID | Term | DocumentID | Count | Weight*

ID | Term | Count

TF表包含术语和文档之间的关系;即文档中术语的频率。 DF表包含有关多少个文档包含术语的信息。使用这两个表，我现在想根据Wikipedia article中的公式计算两个文档（一个文档充当查询）之间的BM25相似性值。表TF和DF转换为分别函数f（Q，d）和N（q）中：

enter image description here

我想的结果是在这种格式：

DocumentA_ID | DocumentB_ID | BM25_Value

下面是一些代码，我到现在为止：

ALTER PROCEDURE [dbo].[BM25] 
-- default parameters k => [1.2 - 2.0], b => [0.0 - 1.0] 
    @K1 FLOAT = 1.2, 
    @B FLOAT = 0.75 
AS 
BEGIN 
    SET NOCOUNT ON; 

    DECLARE @N FLOAT; 
    DECLARE @AVGDL FLOAT; 

    -- number of all documents 
    SELECT @N = CAST(COUNT(*) AS FLOAT) 
    FROM FullDocument; 

    -- average length of documents (in words) 
    SELECT @AVGDL = AVG(Length) 
    FROM (
     SELECT DocumentID, 
       CAST(COUNT(*) AS FLOAT) AS Length 
     FROM TF 
     GROUP BY DocumentID 
    ) A; 

    -- BM25 implementation 
-- SELECT TF.Term, 
--   TF.DocumentID, 
--   C.DocumentLength, 
--   LOG((@N - DF.Count + 0.5)/(DF.Count + 0.5)) * (TF.Count * (@K1 + 1))/(TF.Count + @K1 * (1 - @B + @B * (C.DocumentLength/@AVGDL))) AS BM25, 
--   Weight 
-- FROM TF 
-- INNER JOIN DF ON TF.Term = DF.Term 
-- INNER JOIN (
--  SELECT DocumentID, 
--    COUNT(*) AS DocumentLength 
--  FROM TF 
--  GROUP BY DocumentID 
-- ) C ON TF.DocumentID = C.DocumentID 
END

我在构建上一节（BM25实现）中的查询时遇到问题以获取所需的结果格式。任何帮助将不胜感激。

来源

2013-05-07 brozo