有时我从github下载python源代码,不知道如何安装所有的依赖项。如果没有requirements.txt文件,我必须手工创建它。 问题是: 给定python源代码目录,是否有可能从导入部分自动创建requirements.txt ?
你可以使用下面的代码来生成一个requirements.txt文件:
pip install pipreqs
pipreqs /path/to/project
更多有关pipreqs的信息可以在这里找到。
有时您会遇到pip冻结,但这会保存环境中的所有包,包括那些您在当前项目中不使用的包。
建议使用Pipenv或其他工具来改进开发流程。
pip3 freeze > requirements.txt # Python3
pip freeze > requirements.txt # Python2
如果您不使用虚拟环境,pigar将是一个很好的选择。
在我的例子中,我使用Anaconda,所以在我的环境中从conda终端运行以下命令解决了这个问题,并自动为我创建了这个requirements.txt文件:
conda list -e > requirements.txt
这是从这个Github链接pratos/condaenv.txt
如果看到错误,并且您正在使用anaconda,请尝试使用.yml选项:
conda env export > <environment-name>.yml
供其他人使用该环境,或者如果您正在另一台机器上创建新环境:
conda env create -f <environment-name>.yml
.yml选项在这里找到
确保为python3.7运行pip3。
pip3 freeze >> yourfile.txt
在执行上述命令之前,请确保您已经创建了一个虚拟环境。
python3:
pip3 install virtualenv
python3 -m venv <myenvname>
python2:
pip install virtualenv
virtualenv <myenvname>
然后将源代码放入该目录。如果你现在运行python文件,如果你使用的是非本地模块,它可能不会启动。您可以通过运行pip3 install <module>或pip install <module>来安装这些模块。
除了您所处的环境外,这不会影响整个模块列表。
现在您可以执行顶部的命令,现在您就有了一个需求文件,其中只包含您在虚拟环境中安装的模块。现在可以在顶部运行命令。
我建议每个人都使用环境,因为当涉及到这样的事情时,它会让事情变得更容易。
如果遇到和我一样的问题,即不在虚拟环境中,并且想要特定项目的requirements.txt或从选定的文件夹(包括子)和pipreqs是不支持的。
你可以使用:
import os
import sys
from fuzzywuzzy import fuzz
import subprocess
path = "C:/Users/Username/Desktop/DjangoProjects/restAPItest"
files = os.listdir(path)
pyfiles = []
for root, dirs, files in os.walk(path):
for file in files:
if file.endswith('.py'):
pyfiles.append(os.path.join(root, file))
stopWords = ['from', 'import',',','.']
importables = []
for file in pyfiles:
with open(file) as f:
content = f.readlines()
for line in content:
if "import" in line:
for sw in stopWords:
line = ' '.join(line.split(sw))
importables.append(line.strip().split(' ')[0])
importables = set(importables)
subprocess.call(f"pip freeze > {path}/requirements.txt", shell=True)
with open(path+'/requirements.txt') as req:
modules = req.readlines()
modules = {m.split('=')[0].lower() : m for m in modules}
notList = [''.join(i.split('_')) for i in sys.builtin_module_names]+['os']
new_requirements = []
for req_module in importables:
try :
new_requirements.append(modules[req_module])
except KeyError:
for k,v in modules.items():
if len(req_module)>1 and req_module not in notList:
if fuzz.partial_ratio(req_module,k) > 90:
new_requirements.append(modules[k])
new_requirements = [i for i in set(new_requirements)]
new_requirements
with open(path+'/requirements.txt','w') as req:
req.write(''.join(new_requirements))
附注:它可能有一些额外的库,因为它检查模糊逻辑。
这不是一个完整的解决方案,但可能有助于在Linux上编译一个候选列表。
grep --include='*.py' -rhPo '^\s*(from|import)\s+\w+' . | sed -r 's/\s*(import|from)\s+//' | sort -u > requirements.txt
首先,你的项目文件必须是一个py文件,这是直接的python文件。如果你的文件是ipynb格式,你可以使用下面的代码行将它转换为py类型:
jupyter nbconvert --to=python
然后,您需要从cmd (mac终端)安装pipreqs库。
pip install pipreqs
现在我们可以使用下面的代码创建txt文件。如果你和你的文件在同一路径,你可以写。/。否则,你需要给你的文件路径。
pipreqs ./
or
pipreqs /home/project/location
这将为您的项目创建一个requirements.txt文件。
我盲目地遵循公认的使用答案 Pip3冻结> requirements.txt
它生成了一个巨大的文件,其中列出了整个解决方案的所有依赖项,这不是我想要的。
因此,您需要弄清楚您试图生成什么样的requirements.txt。
如果您需要一个包含所有依赖项的requirements.txt文件,那么可以使用pip3
pip3 freeze > requirements.txt
但是,如果您想生成一个最小的requirements.txt,它只列出您需要的依赖项,那么可以使用pipreqs包。如果您在项目中的每个组件级别都有大量的requirements.txt文件,而在解决方案范围级别上没有一个文件,那么这将特别有用。
pip install pipreqs
pipreqs [path to folder]
e.g. pipreqs .
pipreqs . --force --ignore=tests (Overwrites exisiting requirements.txt, ignores the tests directory)
我创建了这个bash命令。
for l in $(pip freeze); do p=$(echo "$l" | cut -d'=' -f1); f=$(find . -type f -exec grep "$p" {} \; | grep 'import'); [[ ! -z "$f" ]] && echo "$l" ; done;
如果你在你的系统中安装了很多依赖项,并且你需要一个特定项目的requirements.txt,你可以安装第一个pipreqs:
$ pip install pipreqs
并在项目文件夹下执行以下命令。
$ pipreqs
该命令将为特定项目生成requirements.txt文件。
简单的python方式
要获得标准REQUIREMENTS .txt文件中所有REQUIREMENTS的列表,您可以使用以下命令。
pip freeze > requirements.txt
现在,这将自动创建一个标准需求文件,其中包含安装在相应版本旁边的所有包。
终端打印精美
如果你只是想在终端上得到一个漂亮的打印,你可以使用下面的方法。
pip list
它以漂亮的打印格式列出了所有已安装的包。
自定义的依赖
如果你有一个项目文件夹,比如Github Repo,你想为项目获得一个自定义的requirements.txt,你可以使用下面的包。 https://pypi.org/project/pipreqs/ pipreqs
使用
$ pipreqs /home/project/location
Successfully saved requirements file in /home/project/location/requirements.txt
requirements.txt的内容
wheel==0.23.0
Yarg==0.1.9
docopt==0.6.2
对于python3:(我的机器上有python2和python3,其中python2是默认值)
# install
pip3 install pipreqs
# Run in current directory
python3 -m pipreqs.pipreqs .
python2:
pip install pipreqs
python -m pipreqs.pipreqs .
检查你的python版本:
python --version
@Francis说得对- https://stackoverflow.com/a/65728461/1021819
但我要补充一点:
对Jupyter笔记本的额外支持-即.ipynb文件-您现在可以使用https://pypi.org/project/pipreqsnb(与pipreqs相同的语法):
pip install pipreqsnb
pipreqsnb .
[我不是作家]
这个简单的任务在Python中如此复杂,真是令人惊叹。下面是我认为最好的自动完成的方法。
你需要两个工具:
1. pipreqs
Pip3安装pipreqs
Pipreqs会检查你的项目,只安装项目使用的包。而不是像pip freeze那样在python环境中执行所有包。
但这种方法有一个问题。它不安装子包。
例如,您的项目使用pandas==1.3.2。Pandas本身在其他包中使用numpy==1.21.2。但是pipreqs本身并不在requirements .txt中编写子包(即numpy)
这就是您需要将pipreqs与第二个工具结合使用的地方。
pip-tools
Pip3安装pip-tools
Pip-tools将接受需求中的包。并生成带有所有子包的requirements.txt。例如,如果你有 Pandas ==1.3.2的需求。在,pip-tools将生成
Numpy ==1.21.2 # via pandas in requirements.txt。
但是您需要手动在requirements.in中添加包。这很容易出错,你可能会偶尔忘记这样做。
在这里可以使用第一个工具。
但是这两个工具都是根据requirements.txt编写的。那么如何解决这个问题呢?
使用pipreqs的——savepath来写入需求。,而不是默认的requirements.txt。
一次命令就完成;只做
pipreqs——savepath =需求。在&& pip-compile
好了。现在您不需要担心手动维护包,并且您的requirements.txt将包含所有子包,因此您的构建是确定的。
博士TL;
Pip3安装pipreqs Pip3安装pip-tools
使用下面的代码构建确定性的requirements.txt
pipreqs——savepath =需求。在&& pip-compile
自动更新requirements.txt的方法
在使用requirements.txt开发python应用程序时,我们有几个选择:
在开发完成后,当我们想要部署它时,生成requirements.txt。它由pip freeze > requirements.txt或pipreqs执行,以减少混乱的结果。 在每次安装后手动将每个模块添加到requirements.txt中。 安装管理器,它将为我们处理requirements.txt更新。
1-st选项有很多答案,2-d选项不言自明,所以我想描述3-d方法。有一个叫做to-requirements.txt的库。要安装它,输入以下命令:
pip install to-requirements.txt # Pip install to requirements.txt
如果你一次阅读整个命令,你就会明白它是做什么的。安装后,您应该安装它。运行:
requirements-txt setup
它覆盖pip脚本,以便每个pip安装或pip卸载都自动使用所需版本的包更新项目的requirements.txt文件。重写是安全的,因此卸载此包后pip将正常运行。
你可以自定义它的工作方式。例如,全局禁用它,只在需要的目录中激活它,只在git存储库中激活它,或者允许/不允许创建requirements.txt文件(如果它不存在)。
链接:
文档- https://requirements-txt.readthedocs.io/en/latest/ GitHub - https://github.com/VoIlAlex/requirements-txt PyPI - https://pypi.org/project/to-requirements.txt/
或者如果你使用的是virtualenv,你可以运行这个命令来生成一个requirements.txt
$ ./.venv/bin/pip freeze > requirements.txt
使用pip freeze > requirements.txt创建需求文件是一种糟糕的方式!它可以作为你的问题的临时解决方案,但当管理python项目的需求时,最好手动完成。
简单地搜索“import”或“from x import”,就会给出需要安装的所有依赖项的列表(没有其他内容)。
pip冻结的问题是,它只是简单地转储所有安装的严格版本的包,每个依赖项都有自己的依赖项,它们都包含在转储中。 例如,你已经安装了lib==1.0,这需要sub-lib==0.5,如果你使用pip freeze,你会得到两者,但后来当你希望将lib版本更新到2.0时,很可能你会得到冲突,因为lib v2.0现在使用sub-lib v1.0,而不是你需要的v0.5…对于多个依赖项,这很快就变得复杂起来。
我们在几个项目中遇到了这些问题,从那时起,我创建了一个自动脚本来清理pip freeze的转储,它是安全的(注释不需要的依赖项),工作很棒。
要帮助解决这个问题,请始终只在本地包上运行requirements.txt。我所说的本地包是指只在项目文件夹中的包。要做到这一点,请做: Pip freeze -local > requirements.txt
不是pip freeze > requirements.txt。 注意,在local之前是双下划线。
不过,安装pipreqs也有帮助。 Pip安装Pip。
不过,最好的解决办法是准备一个皮夹。当您安装新的本地包时,pipfile会自行更新。它也有一个pipfile。锁类似于包。json。 要做到这一点,请使用pipenv而不是pip安装软件包。 我们用pipenv
因为大多数使用pipreqs的答案对我来说都不管用。以下是我的答案。
生成requirements.txt文件:
pip install pipreqs
python -m pipreqs.pipreqs --encoding utf-8 /path/to/project
我更喜欢使用pipreqs而不是pip freeze,因为pip freeze保存了环境中的所有包,包括那些在当前项目中不使用的包。但是,pipreqs只保存您在项目中使用的那些。
安装需求使用:
pip3 install -r requirements.txt
你可以用命令来做。它将创建requirements .txt并自动添加相关模块。
For Unix : pip3 freeze > requirements.txt
For Windos: pip freeze > requirements.txt
创建requirement.txt:
对于Python 3版本命令为:
pip3 freeze > requirements.txt
对于Python 2版本命令为:
pip freeze > requirements.txt
让安装:
对于Python 3版本命令为:
pip3 install -r requirements.txt
对于Python 2版本命令为:
pip install -r requirements.txt
推荐文章
- 将Pandas或Numpy Nan替换为None以用于MysqlDB
- 使用pandas对同一列进行多个聚合
- 使用Python解析HTML
- django MultiValueDictKeyError错误,我如何处理它
- 如何在for循环期间修改列表条目?
- 我如何在Django中创建一个鼻涕虫?
- 没有名为'django.core.urlresolvers'的模块
- 蟒蛇导出环境文件
- Django - makemigrations -未检测到任何更改
- SQLAlchemy:引擎、连接和会话差异
- 在Python Pandas中删除多个列中的所有重复行
- 更改pandas DataFrame中的特定列名
- 将Pandas多索引转换为列
- 熊猫在每组中获得最高的n个记录
- 熊猫数据帧得到每组的第一行