我曾经读过一些文章,说当表有很多行和很多列时,SELECT COUNT(*) FROM TABLE_NAME将会很慢。
我有一个可能包含数十亿行的表(它大约有15列)。有没有更好的方法来获得一个表的行数的精确计数?
在回答之前请考虑以下问题:
我正在寻找一个数据库供应商
独立的解决方案。如果是也可以
涵盖MySQL, Oracle, MS SQL Server。
但如果真的没有数据库
供应商独立的解决方案,然后我
会接受不同的解决方案吗
针对不同的数据库供应商。
我不能使用任何外部工具
这样做。我主要是在找一个
基于SQL的解决方案。
我不能规范化我的数据库设计
任何进一步的。它已经在3NF中,而且
很多代码已经写好了
围绕它。
我从另一个StackOverflow问题/答案得到这个脚本:
SELECT SUM(p.rows) FROM sys.partitions AS p
INNER JOIN sys.tables AS t
ON p.[object_id] = t.[object_id]
INNER JOIN sys.schemas AS s
ON s.[schema_id] = t.[schema_id]
WHERE t.name = N'YourTableNameHere'
AND s.name = N'dbo'
AND p.index_id IN (0,1);
我的表有5亿条记录,上面的返回时间不到1毫秒。
与此同时,
SELECT COUNT(id) FROM MyTable
整整39分52秒!
它们产生的行数完全相同(在我的例子中,正好是519326012)。
我不知道情况是否会一直如此。
我曾经读过一些文章,说当表有很多行和很多列时,SELECT COUNT(*) FROM TABLE_NAME将会很慢。
这取决于数据库。有些方法可以加速计数,例如通过跟踪索引中的行是活的还是死的,从而允许只扫描索引来提取行数。其他的则不是,因此需要访问整个表并逐个计算活动行。对于一张大桌子来说,这两种方式都很慢。
请注意,您通常可以通过使用查询优化工具、表统计信息等提取一个良好的估计。例如,在PostgreSQL的例子中,你可以从你的表中解析explain count(*)的输出,并得到一个相当好的行数估计。这就引出了你的第二个问题。
我有一个可能包含数十亿行的表(它大约有15列)。有没有更好的方法来获得一个表的行数的精确计数?
严重吗?:-)你真的是指一个有数十亿行的表的精确计数吗?你真的确定吗?: -)
如果您真的这样做了,您可以使用触发器跟踪总数,但如果这样做了,请注意并发性和死锁。
我说这个问题有点晚了,但下面是你可以用MySQL做什么(就像我使用MySQL一样)。我在这里分享我的观察:
1) SELECT COUNT(*) AS TOTAL_ROWS FROM <TABLE_NAME>
结果
行数:508534
控制台输出:受影响的行:0发现的行:1警告:0一次查询的持续时间:0.125秒。
对于有大量行的表需要一些时间,但是行数非常精确。
2) SHOW TABLE STATUS or SHOW TABLE STATUS WHERE NAME="<TABLE_NAME>"
结果
行数:511235
控制台输出:受影响的行:0发现的行:1警告:0一次查询的持续时间:0.250秒
总结:行数不准确。
3) SELECT * FROM information_schema.tables WHERE table_schema = DATABASE();
结果
行数:507806
控制台输出:受影响的行:0发现的行:48警告:0查询一次的持续时间:1.701秒。
行数不准确。
我不是MySQL或数据库专家,但我发现对于非常大的表,你可以使用选项2或3,并得到一个“公平的想法”有多少行。
我需要获得这些行数,以便在UI上显示一些统计信息。通过上面的查询,我知道总行数超过了50万,所以我提出了显示“超过50万行”这样的统计信息,但没有显示确切的行数。
也许我没有真正回答OP的问题,但我在分享我在需要这样的统计数据的情况下所做的事情。在我的情况下,显示大致的行是可以接受的,所以上面的工作对我来说。