我试图使用python的请求模块从网络下载并保存一张图像。
下面是我使用的(工作)代码:
img = urllib2.urlopen(settings.STATICMAP_URL.format(**data))
with open(path, 'w') as f:
f.write(img.read())
下面是使用请求的新(无效)代码:
r = requests.get(settings.STATICMAP_URL.format(**data))
if r.status_code == 200:
img = r.raw.read()
with open(path, 'w') as f:
f.write(img)
你能帮我从请求中使用响应的什么属性吗?
当前回答
同意Blairg23的观点，使用urllib.request.urlretrieve是最简单的解决方案之一。
这里我想指出一点。有时它不会下载任何东西，因为请求是通过脚本(bot)发送的，如果你想解析来自谷歌图像或其他搜索引擎的图像，你需要先传递user-agent请求标题，然后再下载图像，否则，请求将被阻止并抛出错误。
传递user-agent，下载镜像:
opener=urllib.request.build_opener()
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.19582')]
urllib.request.install_opener(opener)
urllib.request.urlretrieve(URL, 'image_name.jpg')
在线IDE中的代码，使用请求，bs4, urllib.requests从谷歌图像中抓取和下载图像。
或者，如果你的目标是从谷歌，Bing, Yahoo!， DuckDuckGo(和其他搜索引擎)，然后你可以使用SerpApi。这是一个带有免费计划的付费API。
最大的区别是，不需要弄清楚如何绕过搜索引擎的块，或者如何从HTML或JavaScript中提取某些部分，因为这些已经为最终用户完成了。
要集成的示例代码:
import os, urllib.request
from serpapi import GoogleSearch
params = {
"api_key": os.getenv("API_KEY"),
"engine": "google",
"q": "pexels cat",
"tbm": "isch"
}
search = GoogleSearch(params)
results = search.get_dict()
print(json.dumps(results['images_results'], indent=2, ensure_ascii=False))
# download images
for index, image in enumerate(results['images_results']):
# print(f'Downloading {index} image...')
opener=urllib.request.build_opener()
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.19582')]
urllib.request.install_opener(opener)
# saves original res image to the SerpApi_Images folder and add index to the end of file name
urllib.request.urlretrieve(image['original'], f'SerpApi_Images/original_size_img_{index}.jpg')
-----------
'''
]
# other images
{
"position": 100, # 100 image
"thumbnail": "https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcQK62dIkDjNCvEgmGU6GGFZcpVWwX-p3FsYSg&usqp=CAU",
"source": "homewardboundnj.org",
"title": "pexels-helena-lopes-1931367 - Homeward Bound Pet Adoption Center",
"link": "https://homewardboundnj.org/upcoming-event/black-cat-appreciation-day/pexels-helena-lopes-1931367/",
"original": "https://homewardboundnj.org/wp-content/uploads/2020/07/pexels-helena-lopes-1931367.jpg",
"is_product": false
}
]
'''
免责声明，我为SerpApi工作。
其他回答
这个怎么样，一个快速的解决方案。
import requests
url = "http://craphound.com/images/1006884_2adf8fc7.jpg"
response = requests.get(url)
if response.status_code == 200:
with open("/Users/apple/Desktop/sample.jpg", 'wb') as f:
f.write(response.content)
我同样需要使用请求下载图像。我首先尝试了Martijn Pieters的答案，效果很好。但是当我对这个简单的函数做了一个概要时，我发现与urllib和urllib2相比，它使用了太多的函数调用。
然后我尝试了请求模块作者推荐的方法:
import requests
from PIL import Image
# python2.x, use this instead
# from StringIO import StringIO
# for python3.x,
from io import StringIO
r = requests.get('https://example.com/image.jpg')
i = Image.open(StringIO(r.content))
这大大减少了函数调用的数量，从而加快了我的应用程序的速度。 下面是我的分析器的代码和结果。
#!/usr/bin/python
import requests
from StringIO import StringIO
from PIL import Image
import profile
def testRequest():
image_name = 'test1.jpg'
url = 'http://example.com/image.jpg'
r = requests.get(url, stream=True)
with open(image_name, 'wb') as f:
for chunk in r.iter_content():
f.write(chunk)
def testRequest2():
image_name = 'test2.jpg'
url = 'http://example.com/image.jpg'
r = requests.get(url)
i = Image.open(StringIO(r.content))
i.save(image_name)
if __name__ == '__main__':
profile.run('testUrllib()')
profile.run('testUrllib2()')
profile.run('testRequest()')
testRequest的结果:
343080 function calls (343068 primitive calls) in 2.580 seconds
和testRequest2的结果:
3129 function calls (3105 primitive calls) in 0.024 seconds
从请求中获取一个类似文件的对象，并将其复制到文件中。这也将避免将整个内容一次性读入内存。
import shutil
import requests
url = 'http://example.com/img.png'
response = requests.get(url, stream=True)
with open('img.png', 'wb') as out_file:
shutil.copyfileobj(response.raw, out_file)
del response
同意Blairg23的观点，使用urllib.request.urlretrieve是最简单的解决方案之一。
这里我想指出一点。有时它不会下载任何东西，因为请求是通过脚本(bot)发送的，如果你想解析来自谷歌图像或其他搜索引擎的图像，你需要先传递user-agent请求标题，然后再下载图像，否则，请求将被阻止并抛出错误。
传递user-agent，下载镜像:
opener=urllib.request.build_opener()
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.19582')]
urllib.request.install_opener(opener)
urllib.request.urlretrieve(URL, 'image_name.jpg')
在线IDE中的代码，使用请求，bs4, urllib.requests从谷歌图像中抓取和下载图像。
或者，如果你的目标是从谷歌，Bing, Yahoo!， DuckDuckGo(和其他搜索引擎)，然后你可以使用SerpApi。这是一个带有免费计划的付费API。
最大的区别是，不需要弄清楚如何绕过搜索引擎的块，或者如何从HTML或JavaScript中提取某些部分，因为这些已经为最终用户完成了。
要集成的示例代码:
import os, urllib.request
from serpapi import GoogleSearch
params = {
"api_key": os.getenv("API_KEY"),
"engine": "google",
"q": "pexels cat",
"tbm": "isch"
}
search = GoogleSearch(params)
results = search.get_dict()
print(json.dumps(results['images_results'], indent=2, ensure_ascii=False))
# download images
for index, image in enumerate(results['images_results']):
# print(f'Downloading {index} image...')
opener=urllib.request.build_opener()
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.19582')]
urllib.request.install_opener(opener)
# saves original res image to the SerpApi_Images folder and add index to the end of file name
urllib.request.urlretrieve(image['original'], f'SerpApi_Images/original_size_img_{index}.jpg')
-----------
'''
]
# other images
{
"position": 100, # 100 image
"thumbnail": "https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcQK62dIkDjNCvEgmGU6GGFZcpVWwX-p3FsYSg&usqp=CAU",
"source": "homewardboundnj.org",
"title": "pexels-helena-lopes-1931367 - Homeward Bound Pet Adoption Center",
"link": "https://homewardboundnj.org/upcoming-event/black-cat-appreciation-day/pexels-helena-lopes-1931367/",
"original": "https://homewardboundnj.org/wp-content/uploads/2020/07/pexels-helena-lopes-1931367.jpg",
"is_product": false
}
]
'''
免责声明，我为SerpApi工作。
下载图像
import requests
Picture_request = requests.get(url)
