按表现排序的随机顺序

Question

按随机顺序获取top n行的最佳方法是什么？
我使用像查询：

Select top(10) field1,field2 .. fieldn 
from Table1 
order by checksum(newid()) 

在上面的查询的问题是，它会越来越为表大小的增加速度较慢。它将始终进行全聚簇索引扫描，以随机顺序查找top(10)行。

有没有其他更好的方法来做到这一点？

Answer 1

不，这里没有办法提高性能。既然你想要“随机”顺序的行，索引将是无用的。但是，您可以尝试按newid()而不是其校验和排序，但这只是对随机排序的优化，而不是排序本身。

服务器无法知道您希望随机选择表中的10行。该查询将评估表中每行的order by表达式，因为它是无法由索引值确定的计算值。这就是为什么你看到一个完整的聚集索引扫描。

Answer 2

我已经测试了这个，并获得了更好的性能改变查询。

我在测试中使用的表格的DDL。

CREATE TABLE [dbo].[TestTable] 
(
    [ID] [int] IDENTITY(1,1) NOT NULL, 
    [Col1] [nvarchar](100) NOT NULL, 
    [Col2] [nvarchar](38) NOT NULL, 
    [Col3] [datetime] NULL, 
    [Col4] [nvarchar](50) NULL, 
    [Col5] [int] NULL, 
CONSTRAINT [PK_TestTable] PRIMARY KEY CLUSTERED 
(
    [ID] ASC 
) 
) 

GO 

CREATE NONCLUSTERED INDEX [IX_TestTable_Col5] ON [dbo].[TestTable] 
(
    [Col5] ASC 
) 

表中有722888行。

首先查询：

select top 10 
    T.ID, 
    T.Col1, 
    T.Col2, 
    T.Col3, 
    T.Col5, 
    T.Col5 
from TestTable as T 
order by newid() 

统计第一个查询：

SQL Server parse and compile time: 
    CPU time = 0 ms, elapsed time = 13 ms. 

(10 row(s) affected) 
Table 'TestTable'. Scan count 1, logical reads 12492, physical reads 14, read-ahead reads 6437, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0. 

SQL Server Execution Times: 
    CPU time = 859 ms, elapsed time = 1700 ms. 

执行计划第一个查询：

第二个查询：

select 
    T.ID, 
    T.Col1, 
    T.Col2, 
    T.Col3, 
    T.Col5, 
    T.Col5 
from TestTable as T 
    inner join (select top 10 ID 
       from TestTable 
       order by newid()) as C 
    on T.ID = C.ID 

统计第二查询：

SQL Server parse and compile time: 
    CPU time = 125 ms, elapsed time = 183 ms. 

(10 row(s) affected) 
Table 'TestTable'. Scan count 1, logical reads 1291, physical reads 10, read-ahead reads 399, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0. 

SQL Server Execution Times: 
    CPU time = 516 ms, elapsed time = 706 ms. 

执行计划第二查询：

总结：

第二查询使用上Col5索引通过对行进行排序newid()，然后执行聚集索引搜索10次以获取输出的值。

性能增益存在，因为Col5上的索引比聚簇密钥更窄，导致读取次数更少。

感谢Martin Smith对于pointing that out。

Answer 3

减少扫描所需扫描大小的一种方法是使用TABLESAMPLE与ORDER BY newid的组合，以从表中选择的页面中选择随机数的行，而不是扫描整个表。

这个想法是计算每页的平均行数，然后使用tablesample为要输出的每一行选择1个随机数据页。然后，您将对该数据子集运行ORDER BY newid（）查询。这种方法与原始方法相比会稍微随机，但比仅使用tablesample要好得多，并且涉及从表中读取少得多的数据。

不幸的是，TABLESAMPLE子句不接受变量，因此动态sql对于根据输入表记录的大小使用动态行值是必需的。

declare @factor int 
select @factor=8000/avg_record_size_in_bytes from sys.dm_db_index_physical_stats(db_id(), object_id('sample'), null, null, 'detailed') where index_level = 0 
declare @numRows int = 10 
declare @sampledRows int = @factor * @numRows 
declare @stmt nvarchar(max) = N'select top (@numRows) * from sample tablesample (' + convert(varchar(32), @sampledRows) + ' rows) order by checksum(newid())' 
exec sp_executesql @stmt, N'@numRows int', @numRows