只是一个简短的,简单的关于优秀的Python请求模块。

我似乎在文档中找不到变量“代理”应该包含什么。当我给它发送一个带有标准“IP:PORT”值的字典时,它拒绝了它要求2个值。 所以,我猜(因为这似乎没有被覆盖在文档),第一个值是ip和第二个端口?

文档只提到了这一点:

代理-(可选)字典映射协议到代理的URL。

所以我尝试了这个…我该怎么办?

proxy = { ip: port}

在把它们放入字典之前,我应该把它们转换成某种类型吗?

r = requests.get(url,headers=headers,proxies=proxy)

当前回答

我发现urllib有一些非常好的代码来获取系统的代理设置,而且它们恰好以正确的形式直接使用。你可以这样使用:

import urllib

...
r = requests.get('http://example.org', proxies=urllib.request.getproxies())

它工作得非常好,urllib也知道如何获取Mac OS X和Windows设置。

其他回答

我发现urllib有一些非常好的代码来获取系统的代理设置,而且它们恰好以正确的形式直接使用。你可以这样使用:

import urllib

...
r = requests.get('http://example.org', proxies=urllib.request.getproxies())

它工作得非常好,urllib也知道如何获取Mac OS X和Windows设置。

经过测试,下面的代码可以工作。需要使用HTTPProxyAuth。

import requests
from requests.auth import HTTPProxyAuth


USE_PROXY = True
proxy_user = "aaa"
proxy_password = "bbb"
http_proxy = "http://your_proxy_server:8080"
https_proxy = "http://your_proxy_server:8080"
proxies = {
    "http": http_proxy,
    "https": https_proxy
}

def test(name):
    print(f'Hi, {name}')  # Press Ctrl+F8 to toggle the breakpoint.
    # Create the session and set the proxies.
    session = requests.Session()
    if USE_PROXY:
        session.trust_env = False
        session.proxies = proxies
        session.auth = HTTPProxyAuth(proxy_user, proxy_password)

    r = session.get('https://www.stackoverflow.com')
    print(r.status_code)

if __name__ == '__main__':
    test('aaa')

我刚刚做了一个代理抓取器,也可以连接到相同的抓取代理没有任何输入 这里是:

#Import Modules

from termcolor import colored
from selenium import webdriver
import requests
import os
import sys
import time

#Proxy Grab

options = webdriver.ChromeOptions()
options.add_argument('headless')
driver = webdriver.Chrome(chrome_options=options)
driver.get("https://www.sslproxies.org/")
tbody = driver.find_element_by_tag_name("tbody")
cell = tbody.find_elements_by_tag_name("tr")
for column in cell:

        column = column.text.split(" ")
        print(colored(column[0]+":"+column[1],'yellow'))
driver.quit()
print("")

os.system('clear')
os.system('cls')

#Proxy Connection

print(colored('Getting Proxies from graber...','green'))
time.sleep(2)
os.system('clear')
os.system('cls')
proxy = {"http": "http://"+ column[0]+":"+column[1]}
url = 'https://mobile.facebook.com/login'
r = requests.get(url,  proxies=proxy)
print("")
print(colored('Connecting using proxy' ,'green'))
print("")
sts = r.status_code

您可以在这里参考代理文档。

如果你需要使用代理,你可以用代理参数配置单个请求到任何请求方法:

import requests

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "https://10.10.1.10:1080",
}

requests.get("http://example.org", proxies=proxies)

要对代理使用HTTP基本认证,请使用http://user:password@host.com/语法:

proxies = {
    "http": "http://user:pass@10.10.1.10:3128/"
}

代理的dict语法为{"protocol": "scheme://ip:port",…}。有了它,你可以为使用http, https和ftp协议的请求指定不同的(或相同的)代理:

http_proxy  = "http://10.10.1.10:3128"
https_proxy = "https://10.10.1.11:1080"
ftp_proxy   = "ftp://10.10.1.10:3128"

proxies = { 
              "http"  : http_proxy, 
              "https" : https_proxy, 
              "ftp"   : ftp_proxy
            }

r = requests.get(url, headers=headers, proxies=proxies)

从请求文档推断出:

参数: method——新请求对象的方法。 url -新请求对象的url。 ... 代理-(可选)字典映射协议到代理的URL。 ...


在linux上,你也可以通过HTTP_PROXY, HTTPS_PROXY和FTP_PROXY环境变量来做到这一点:

export HTTP_PROXY=10.10.1.10:3128
export HTTPS_PROXY=10.10.1.11:1080
export FTP_PROXY=10.10.1.10:3128

在Windows上:

set http_proxy=10.10.1.10:3128
set https_proxy=10.10.1.11:1080
set ftp_proxy=10.10.1.10:3128