gprof2dot_magic公司

gprof2dot的神奇函数，用于在JupyterLab或Jupyter Notebook中将任何Python语句作为DOT图进行评测。

GitHub回购：https://github.com/mattijn/gprof2dot_magic

安装

确保您有Python包gprof2dot_magic。

pip install gprof2dot_magic

它的依赖关系gprof2dot和graphviz也将被安装

用法

要启用magic函数，首先加载gprof2dot_magic模块

%load_ext gprof2dot_magic

然后将任何行语句配置为DOT图，如下所示：

%gprof2dot print('hello world')

Python包括一个名为cProfile的分析器。它不仅给出了总的运行时间，而且还分别计算了每个函数的时间，并告诉每个函数被调用了多少次，从而很容易确定应该在哪里进行优化。

您可以从代码内部或从解释器调用它，如下所示：

import cProfile
cProfile.run('foo()')

更有用的是，您可以在运行脚本时调用cProfile：

python -m cProfile myscript.py

为了更简单，我制作了一个名为“profile.bat”的小批处理文件：

python -m cProfile %1

所以我要做的就是跑：

profile euler048.py

我得到了这个：

1007 function calls in 0.061 CPU seconds

Ordered by: standard name
ncalls  tottime  percall  cumtime  percall filename:lineno(function)
    1    0.000    0.000    0.061    0.061 <string>:1(<module>)
 1000    0.051    0.000    0.051    0.000 euler048.py:2(<lambda>)
    1    0.005    0.005    0.061    0.061 euler048.py:2(<module>)
    1    0.000    0.000    0.061    0.061 {execfile}
    1    0.002    0.002    0.053    0.053 {map}
    1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler objects}
    1    0.000    0.000    0.000    0.000 {range}
    1    0.003    0.003    0.003    0.003 {sum}

编辑：更新了2013年PyCon视频资源的链接，标题为Python评测也可以通过YouTube。

获取IPython笔记本上的快速配置文件统计信息。人们可以将line_profiler和memory_profile直接嵌入到笔记本中。

另一个有用的包是Pympler。它是一个强大的评测包，能够跟踪类、对象、函数、内存泄漏等。

了解了！

!pip install line_profiler
!pip install memory_profiler
!pip install pympler

加载它！

%load_ext line_profiler
%load_ext memory_profiler

使用它！

---

%时间

%time print('Outputs CPU time,Wall Clock time') 
#CPU times: user 2 µs, sys: 0 ns, total: 2 µs Wall time: 5.96 µs

给予：

CPU时间：CPU级执行时间systimes:系统级执行时间总计：CPU时间+系统时间墙上时间：墙上时钟时间

---

%计时

%timeit -r 7 -n 1000 print('Outputs execution time of the snippet') 
#1000 loops, best of 7: 7.46 ns per loop

给出给定循环次数（n）中的最佳运行次数（r）。输出系统缓存的详细信息：当代码片段被多次执行时，系统会缓存一些操作并不再执行，这可能会影响概要文件报告的准确性。

---

%普鲁士人

%prun -s cumulative 'Code to profile' 

给予：

函数调用数（ncall）每个函数调用有个条目（不同）每次呼叫所用时间（百分比）到函数调用为止的时间（cumtime）调用的函数/模块的名称等。。。

---

%记忆，记忆

%memit 'Code to profile'
#peak memory: 199.45 MiB, increment: 0.00 MiB

给予：

内存使用情况

---

%低压运行

#Example function
def fun():
  for i in range(10):
    print(i)

#Usage: %lprun <name_of_the_function> function
%lprun -f fun fun()

给予：

按行统计

---

系统大小

sys.getsizeof('code to profile')
# 64 bytes

返回对象的大小（以字节为单位）。

---

来自pympler的asizeof（）

from pympler import asizeof
obj = [1,2,("hey","ha"),3]
print(asizeof.asizeof(obj,stats=4))

pympler.asizeof可用于调查某些Python对象消耗多少内存。与sys.getsizeof不同，asizeof递归地调整对象大小

---

来自pympler的跟踪器

from pympler import tracker
tr = tracker.SummaryTracker()
def fun():
  li = [1,2,3]
  di = {"ha":"haha","duh":"Umm"}
fun()
tr.print_diff()

跟踪函数的生存期。

Pympler包包含大量用于评测代码的高实用函数。这里无法涵盖所有这些。有关详细的概要文件实现，请参阅随附的文档。

Pympler文档

在Virtaal的源代码中，有一个非常有用的类和装饰器，它可以使分析（甚至对于特定的方法/函数）非常简单。然后可以在KCacheGrind中非常舒适地查看输出。

在研究这个主题时，我遇到了一个叫做SnakeViz的便捷工具。SnakeViz是一个基于web的评测可视化工具。它非常容易安装和使用。我通常使用的方法是用%prun生成一个stat文件，然后在SnakeViz中进行分析。

所使用的主要viz技术是下图所示的Sunburst图表，其中函数调用的层次结构被安排为弧和时间信息的层，以其角度宽度编码。

最好的是你可以与图表互动。例如，要放大，可以单击一个弧，弧及其后代将被放大为新的阳光，以显示更多细节。

只有终端（也是最简单的）解决方案，以防所有这些花哨的UI无法安装或运行：完全忽略cProfile并将其替换为pyinstrument，它将在执行后立即收集并显示调用树。

安装：

$ pip install pyinstrument

配置文件和显示结果：

$ python -m pyinstrument ./prog.py

适用于蟒蛇2和3。

[编辑]这里可以找到API的文档，用于分析代码的一部分。