有时我从github下载python源代码,不知道如何安装所有的依赖项。如果没有requirements.txt文件,我必须手工创建它。 问题是: 给定python源代码目录,是否有可能从导入部分自动创建requirements.txt ?


当前回答

如果你在你的系统中安装了很多依赖项,并且你需要一个特定项目的requirements.txt,你可以安装第一个pipreqs:

$ pip install pipreqs

并在项目文件夹下执行以下命令。

$ pipreqs

该命令将为特定项目生成requirements.txt文件。

其他回答

在我的例子中,我使用Anaconda,所以在我的环境中从conda终端运行以下命令解决了这个问题,并自动为我创建了这个requirements.txt文件:

conda list -e > requirements.txt

这是从这个Github链接pratos/condaenv.txt

如果看到错误,并且您正在使用anaconda,请尝试使用.yml选项:

conda env export > <environment-name>.yml

供其他人使用该环境,或者如果您正在另一台机器上创建新环境:

conda env create -f <environment-name>.yml

.yml选项在这里找到

这不是一个完整的解决方案,但可能有助于在Linux上编译一个候选列表。

grep --include='*.py' -rhPo '^\s*(from|import)\s+\w+' . | sed -r 's/\s*(import|from)\s+//' | sort -u > requirements.txt

这个简单的任务在Python中如此复杂,真是令人惊叹。下面是我认为最好的自动完成的方法。

你需要两个工具:

1. pipreqs

Pip3安装pipreqs

Pipreqs会检查你的项目,只安装项目使用的包。而不是像pip freeze那样在python环境中执行所有包。

但这种方法有一个问题。它不安装子包。

例如,您的项目使用pandas==1.3.2。Pandas本身在其他包中使用numpy==1.21.2。但是pipreqs本身并不在requirements .txt中编写子包(即numpy)

这就是您需要将pipreqs与第二个工具结合使用的地方。

pip-tools

Pip3安装pip-tools

Pip-tools将接受需求中的包。并生成带有所有子包的requirements.txt。例如,如果你有 Pandas ==1.3.2的需求。在,pip-tools将生成

Numpy ==1.21.2 # via pandas in requirements.txt。

但是您需要手动在requirements.in中添加包。这很容易出错,你可能会偶尔忘记这样做。

在这里可以使用第一个工具。

但是这两个工具都是根据requirements.txt编写的。那么如何解决这个问题呢?

使用pipreqs的——savepath来写入需求。,而不是默认的requirements.txt。

一次命令就完成;只做

pipreqs——savepath =需求。在&& pip-compile

好了。现在您不需要担心手动维护包,并且您的requirements.txt将包含所有子包,因此您的构建是确定的。

博士TL;

Pip3安装pipreqs Pip3安装pip-tools

使用下面的代码构建确定性的requirements.txt

pipreqs——savepath =需求。在&& pip-compile

对于python3:(我的机器上有python2和python3,其中python2是默认值)

# install
pip3 install pipreqs

# Run in current directory
python3 -m  pipreqs.pipreqs .

python2:

pip install pipreqs
python -m  pipreqs.pipreqs .

检查你的python版本:

python --version

使用pip freeze > requirements.txt创建需求文件是一种糟糕的方式!它可以作为你的问题的临时解决方案,但当管理python项目的需求时,最好手动完成。

简单地搜索“import”或“from x import”,就会给出需要安装的所有依赖项的列表(没有其他内容)。

pip冻结的问题是,它只是简单地转储所有安装的严格版本的包,每个依赖项都有自己的依赖项,它们都包含在转储中。 例如,你已经安装了lib==1.0,这需要sub-lib==0.5,如果你使用pip freeze,你会得到两者,但后来当你希望将lib版本更新到2.0时,很可能你会得到冲突,因为lib v2.0现在使用sub-lib v1.0,而不是你需要的v0.5…对于多个依赖项,这很快就变得复杂起来。

我们在几个项目中遇到了这些问题,从那时起,我创建了一个自动脚本来清理pip freeze的转储,它是安全的(注释不需要的依赖项),工作很棒。