更新的基准

所以我合成了随机分布的100mn个整数

之间的

0^0 - 1 

and

8^8 - 1

代码生成器

mawk2 '
BEGIN {
     __=_=((_+=_^=_<_)+(__=_*_*_))^(___=__)
     srand()
     ___^=___
     do  { 
           print int(rand()*___) 
  
     } while(--_)  }' | pvE9 > test_large_int_100mil_001.txt

     out9:  795MiB 0:00:11 [69.0MiB/s] [69.0MiB/s] [ <=> ]

  f='test_large_int_100mil_001.txt'
  wc5 < "${f}"

    rows = 100000000. | UTF8 chars = 833771780. | bytes = 833771780.

最后一位的奇/偶分布

Odd  49,992,332
Even 50,007,668

AWK -最快的，有很大的优势(可能C更快，我不知道)

in0:  795MiB 0:00:07 [ 103MiB/s] [ 103MiB/s] [============>] 100%            
( pvE 0.1 in0 < "${f}" | mawk2 '{ _+=$__ } END { print _ }'; )  

 7.64s user 0.35s system 103% cpu 7.727 total
     1  838885279378716

Perl -相当不错

 in0:  795MiB 0:00:10 [77.6MiB/s] [77.6MiB/s] [==============>] 100%            
( pvE 0.1 in0 < "${f}" | perl -lne '$x += $_; END { print $x; }'; )  
 
10.16s user 0.37s system 102% cpu 10.268 total

     1  838885279378716

Python3——稍微落后于Perl

 in0:  795MiB 0:00:11 [71.5MiB/s] [71.5MiB/s] [===========>] 100%            
( pvE 0.1 in0 < "${f}" | python3 -c ; )  

 11.00s user 0.43s system 102% cpu 11.140 total
     1  838885279378716

RUBY -不错

 in0:  795MiB 0:00:13 [61.0MiB/s] [61.0MiB/s] [===========>] 100%            
( pvE 0.1 in0 < "${f}" | ruby -e 'puts ARGF.map(&:to_i).inject(&:+)'; )  
15.30s user 0.70s system 101% cpu 15.757 total

     1  838885279378716

JQ -慢

 in0:  795MiB 0:00:25 [31.1MiB/s] [31.1MiB/s] [========>] 100%            
( pvE 0.1 in0 < "${f}" | jq -s 'add'; )  

 36.95s user 1.09s system 100% cpu 37.840 total

     1  838885279378716

DC

- ( had to kill it after no response in minutes)

一个简单的解决方案是编写一个程序来为你做这件事。这可能在python中很快就可以完成，类似于:

sum = 0
file = open("numbers.txt","R")
for line in file.readlines(): sum+=int(line)
file.close()
print sum

我还没有测试该代码，但它看起来是正确的。只需将numbers.txt更改为文件名，将代码保存到一个名为sum.py的文件中，并在控制台中键入"python sum.py"

替代纯Perl，相当可读，不需要包或选项:

perl -e "map {$x += $_} <> and print $x" < infile.txt

.．.和PHP版本，只是为了完整起见

cat /file/with/numbers | php -r '$s = 0; while (true) { $e = fgets(STDIN); if (false === $e) break; $s += $e; } echo $s;'

所有基于fedora的系统[fedora,RHEL,CentOS,korora等]上都有lua解释器，因为它嵌入了rpm-package(包管理器rpm的包)，即rpm-lua]，如果你想学习lua，这种问题是理想的(你也会完成你的工作)。

cat filname | lua -e "sum = 0;for i in io.lines() do sum=sum+i end print(sum)"

这很有效。虽然Lua很啰嗦，但你可能不得不忍受一些反复敲击键盘的伤害:)

一点awk就行了?

awk '{s+=$1} END {print s}' mydatafile

注意:如果要添加超过2^31(2147483647)的值，某些版本的awk会有一些奇怪的行为。查看评论了解更多背景信息。一个建议是使用printf而不是print:

awk '{s+=$1} END {printf "%.0f", s}' mydatafile