from bs4 import BeautifulSoup
from requests_html import HTMLSession

url = 'your_url'
session = HTMLSession()
resp = session.get(url)

# if element with id "articlebody" is dynamic, else need not to render
resp.html.render()

soup = bs(resp.html.html, "lxml")
soup.find("div", {"id": "articlebody"})

在beautifulsoup源代码中，这一行允许在div中嵌套div;所以你对卢卡斯评论的担心是没有根据的。

NESTABLE_BLOCK_TAGS = ['blockquote', 'div', 'fieldset', 'ins', 'del']

我认为您需要做的是指定您想要的attrs，例如

source.find('div', attrs={'id':'articlebody'})

很可能是因为默认的beautifulsoup解析器有问题。换一个不同的解析器，比如'lxml'，然后再试一次。

我使用:

soup.findAll('tag', attrs={'attrname':"attrvalue"})

就像我的find/findall语法一样;也就是说，除非在标签和属性列表之间有其他可选参数，否则不应该有什么不同。

soup.find("tagName",attrs={ "id" : "articlebody" })

通过id查找元素:

div = soup.find(id="articlebody")