反复查询大表的最快方法

Question

我有一个包含5000万条记录，但结构紧凑（id，int1，int1，int2，int3）的表。所有相关指标均已实施。

我需要为每个用户交互查询约50次。这大约需要5秒钟，对数据库服务器使用常规准备好的查询。所有的查询都是简单的选择。

我的问题是：我能做些什么来加速这个，甚至花费更多的内存？查询的查找方法不够灵活，直接在查询中使用过滤器速度很慢。

我正在主查询是

select knowledge_id, knowledge_family_id, tag_level, tag_order, 
    total_title_direct_words, total_title_parenthesis_words from knowledge_tags 
    where dictionary_word_id = XX order by tag_level, tag_order 

任何人都可以提出一个策略？ TVirtualTable会提高速度吗？

Answer 1

我我看来，这将是更快的加载TClientDataSet整个数据，并使用FINDKEY来寻求这些记录。

要使用FindKey()你必须定义指标是这样的：

Cds.IndexDefs.ADD('IDX1', 'FieldA;FieldB',[]); 
Cds.IndexName := 'IDX1'; 
if Cds.FindKey([A,B]) then begin 
    //Do something 
end; 

您还可以创建多个索引，并使用它，只要你想：

Cds.IndexDefs.ADD('IDX1', 'FieldA;FieldB',[]); 
Cds.IndexDefs.ADD('IDX2', 'FieldD;FieldB',[]); 
Cds.IndexDefs.ADD('IDX3', 'FieldA;FieldC',[]); 

if SeekAB then 
    Cds.IndexName := 'IDX1' 
else if SeekDB then 
    Cds.IndexName := 'IDX2' 
else 
    Cds.IndexName := 'IDX3'; 

Answer 2

考虑到整个表加载到内存是不是一个问题，我建议：

1. 执行查询以选择所有记录
2. 走在数据集中的一次性的记录复制到TObjectList <TMyRecord>的实例，其中TMyRecord是可包含数据集记录的所有字段的类;因此您现在拥有的是目标列表中的数据集的副本
3. 如果可能，请对列表进行排序（或选择正确的顺序），以便在需要时运行二进制搜索
4. 释放数据集并只在名单上工作。

在这种情况下，您将避免所有数据集开销，并且每次搜索都会更快。

的TMyRecord的一个例子是：

interface 

type 
    TMyRecord = class 
    private 
    FId: Integer; 
    FCol1: Integer; 
    FCol2: Integer; 
    FCol3: Integer; 
    FCol4: Integer; 
    public 
    constructor Create(aId, aCol1, aCol2, aCol3, aCol4: Integer); 
    property Id: Integer read FId write FId; 
    property Col1: Integer read FCol1 write FCol1; 
    property Col2: Integer read FCol2 write FCol2; 
    property Col3: Integer read FCol3 write FCol3; 
    property Col4: Integer read FCol4 write FCol4; 
    end; 

implementation 

constructor TMyRecord.Create(aId, aCol1, aCol2, aCol3, aCol4: Integer); 
begin 
    FId := aId; 
    FCol1 := aCol1; 
    FCol2 := aCol2; 
    FCol3 := aCol3; 
    FCol4 := aCol4; 
end;