如何使用pip命令从requirements.txt文件升级我所有的python包?

尝试以下命令

$ pip install --upgrade -r requirements.txt

因为python包的后缀是版本号(Django==1.5.1),所以它们似乎不会升级。有没有比手动编辑requirements.txt文件更好的方法?

EDIT

正如Andy在他的回答中提到的,包被固定到特定的版本,因此不可能通过pip命令升级包。

但是,我们可以使用以下命令使用pip-tools实现这一点。

$ pip-review --auto

这将自动升级requirements.txt中的所有包(确保使用PIP install命令安装PIP -tools)。


你可以试试:

pip install --upgrade --force-reinstall -r requirements.txt

你也可以忽略已安装的包并安装新的包:

pip install --ignore-installed -r requirements.txt

不。您的需求文件已经固定到特定的版本。如果您的需求已设置为该版本,则不应尝试升级到超出这些版本的版本。如果您需要升级,那么您需要在需求文件中切换到未固定的版本。

例子:

lxml>=2.2.0

这将把lxml升级到任何比2.2.0更新的版本

lxml>=2.2.0,<2.3.0

这将把lxml升级到2.2.0和2.3.0之间的最新版本。


因为我不能用bash来做这个,我写了一个python模块来创建一个新的没有版本的需求文件并使用它:

data = open('requirements-prod.pip', 'r')
data2 = open('requirements-prod-no-version.pip', 'w')
for line in data.readlines():
    new_line = line[:line.index('==')]
    data2.write(new_line + '\n')
data2.flush()

然后从新文件pip install -U -r requirements-prod-no-version.pip中安装这些库

最后将版本冻结到原始文件pip freeze > requirements-prod.pip


我已经回答了这个问题。以下是我的解决方案:

因为没有简单的方法来逐个升级包,并更新requirements.txt文件,所以我写了这个pip-upgrader,它也更新了所选包(或所有包)的requirements.txt文件中的版本。

安装

pip install pip-upgrader

使用

激活您的virtualenv(这很重要,因为它还将在当前的virtualenv中安装升级包的新版本)。

CD到你的项目目录,然后运行:

pip-upgrade

高级用法

如果需求被放置在一个非标准的位置,将它们作为参数发送:

pip-upgrade path/to/requirements.txt

如果你已经知道要升级什么包,只需将它们作为参数发送:

pip-upgrade -p django -p celery -p dateutil

如果需要升级到预发布/后发布版本,请在命令中添加——pre-release参数。

完全披露:这个包是我写的。


我编辑requirements.txt,如下所示,然后运行$sh ./requirements.txt

pip install -U amqp;
pip install -U appdirs;
pip install -U arrow;
pip install -U Babel;
pip install -U billiard;
pip install -U celery;
pip install -U Django;
pip install -U django-cors-headers;
pip install -U django-crispy-forms;
pip install -U django-filter;
pip install -U django-markdown-deux;
pip install -U django-pagedown;
pip install -U django-timezone-field;
pip install -U djangorestframework;
pip install -U fcm-django;
pip install -U flower;
pip install -U gunicorn;
pip install -U kombu;
pip install -U Markdown;
pip install -U markdown2;
pip install -U packaging;

如果你在django项目中安装了任何东西,并且在安装后你想要更新你的需求文件,这个命令可以更新你的需求文件 PIP freeze > requirements.txt

如果你的需求文件在你的项目中不存在,你可以使用这个命令来创建新的需求文件 PIP freeze > requirements.txt


另一个解决方案是使用升级需求包

pip install upgrade-requirements

然后运行:

upgrade-requirements

它将升级所有不是最新版本的包,并在最后创建一个更新后的requirements.txt。


我也不得不这么做……使用下面的一行小代码来完成这项工作:

packages=$(cat requirements.txt | sed 's/==.*//g'); echo $packages | xargs pip3 install -U; freeze=$(pip3 freeze); for p in $(echo $packages); do echo $freeze | grep -E "^${p}==" >> requirements.new; done

哪一个:

packages=$(cat requirements.txt | sed 's/==.*//g') creates a list of the current packages names in requirements.txt (removing the version). echo $packages | xargs pip3 install -U then passes all of the packages as arguments to pip3 to upgrade. freeze=$(pip3 freeze); Gets all of the current package versions in the format required for requirements.txt for p in $(echo $packages) then iterates through the package names echo $freeze | grep -E "^${p}==" >> requirements.new gets the package version line from the pip freeze output which matches the package and writes to new requirements.txt

这样做还有一个额外的好处,那就是保留原始requirements.txt的顺序。:)

希望这能有所帮助!


我建议冻结所有依赖项,以获得可预测的构建。

当这样做时,你可以像这样一次更新所有依赖项:

sed -i '' 's/[~=]=/>=/' requirements.txt
pip install -U -r requirements.txt
pip freeze | sed 's/==/~=/' > requirements.txt

完成上述工作后,使用新的包集测试您的项目,并最终将requirements.txt文件提交到存储库,同时仍然允许安装热修复程序。


第二个答案是最有用的,但我想做的是锁定一些包,而其他包在最新版本(例如youtube-dl)。

一个requirements.txt的例子是这样的(~表示兼容):

Pillow==6.2.2
requests~=2.22.0
youtube_dl

然后在终端中,使用命令pip install——upgrade -r requirements.txt

这确保枕头将保持在6.2.2,请求将升级到最新的2.22。X(如果可用),如果还没有安装最新版本的youtube-dl,则将安装。


我想最简单的解决方案是创建requirements.txt:

pip freeze | sed 's/==/>=/' > requirements.txt

你可以在Linux和Mac上使用以下命令:

cat requirements.txt | cut -f1 -d= | xargs pip install -U

修复对特定版本的依赖关系是推荐的做法。

下面是另一个使用pur来保持依赖关系的解决方案!

给pur你的requirements.txt文件,它会自动更新你所有的高级包到最新版本,保持你原来的格式和注释到位。

例如,在example requirements.txt上运行pur将包更新到当前可用的最新版本:

$ pur -r requirements.txt
Updated flask: 0.9 -> 0.10.1
Updated sqlalchemy: 0.9.10 -> 1.0.12
Updated alembic: 0.8.4 -> 0.8.6
All requirements up-to-date.

由于pur从不修改您的环境或安装的包,它非常快,您可以安全地运行它,而不用担心破坏您的本地虚拟环境。Pur将更新requirements.txt文件与安装更新分开。因此,您可以使用pur,然后在不同的步骤中安装更新。


更健壮的解决方案是IMO使用依赖项管理,例如poetry, https://python-poetry.org,它带有详尽的依赖项解析器。


使用pip工具,您有一个基本的要求。在需要的依赖项和一个带有固定版本的requirements.txt文件中。Pip-tools然后自动生成固定版本,这使得处理包括升级依赖项在内的整个过程更加容易。

# requirements.in
django

和自动生成的requirements.txt(固定所有依赖项)

$ pip-compile requirements.in
#
# This file is autogenerated by pip-compile
# To update, run:
#
#    pip-compile requirements.in
#
asgiref==3.2.3
    # via django
django==3.0.3
    # via -r requirements.in
pytz==2019.3
    # via django
sqlparse==0.3.0
    # via django

如果你使用这个工作流,我强烈推荐,它是

pip-compile --upgrade

生成带有最新版本的requirements.txt。