我正在寻找一种滚动浏览动态网页的方法，并在到达页面末尾时自动停止，并找到了这个线程。

@Cuong Tran的这篇文章，有一个主要的修改，是我一直在寻找的答案。我认为其他人可能会发现这个修改很有帮助(它对代码的工作方式有明显的影响)，因此写了这篇文章。

修改是将捕获最后一页高度的语句移动到循环内部(以便每个检查都与前一页高度进行比较)。

所以，下面的代码:

连续向下滚动一个动态网页(. scrollto())，只有在一次迭代中，页面高度保持相同时才停止。

(还有另一个修改，其中break语句在另一个条件(以防页面“卡住”)中，可以删除)。

    SCROLL_PAUSE_TIME = 0.5


    while True:

        # Get scroll height
        ### This is the difference. Moving this *inside* the loop
        ### means that it checks if scrollTo is still scrolling 
        last_height = driver.execute_script("return document.body.scrollHeight")

        # Scroll down to bottom
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

        # Wait to load page
        time.sleep(SCROLL_PAUSE_TIME)

        # Calculate new scroll height and compare with last scroll height
        new_height = driver.execute_script("return document.body.scrollHeight")
        if new_height == last_height:

            # try again (can be removed)
            driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

            # Wait to load page
            time.sleep(SCROLL_PAUSE_TIME)

            # Calculate new scroll height and compare with last scroll height
            new_height = driver.execute_script("return document.body.scrollHeight")

            # check if the page height has remained the same
            if new_height == last_height:
                # if so, you are done
                break
            # if not, move on to the next loop
            else:
                last_height = new_height
                continue

我正在寻找一种滚动浏览动态网页的方法，并在到达页面末尾时自动停止，并找到了这个线程。

@Cuong Tran的这篇文章，有一个主要的修改，是我一直在寻找的答案。我认为其他人可能会发现这个修改很有帮助(它对代码的工作方式有明显的影响)，因此写了这篇文章。

修改是将捕获最后一页高度的语句移动到循环内部(以便每个检查都与前一页高度进行比较)。

所以，下面的代码:

连续向下滚动一个动态网页(. scrollto())，只有在一次迭代中，页面高度保持相同时才停止。

(还有另一个修改，其中break语句在另一个条件(以防页面“卡住”)中，可以删除)。

    SCROLL_PAUSE_TIME = 0.5


    while True:

        # Get scroll height
        ### This is the difference. Moving this *inside* the loop
        ### means that it checks if scrollTo is still scrolling 
        last_height = driver.execute_script("return document.body.scrollHeight")

        # Scroll down to bottom
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

        # Wait to load page
        time.sleep(SCROLL_PAUSE_TIME)

        # Calculate new scroll height and compare with last scroll height
        new_height = driver.execute_script("return document.body.scrollHeight")
        if new_height == last_height:

            # try again (can be removed)
            driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

            # Wait to load page
            time.sleep(SCROLL_PAUSE_TIME)

            # Calculate new scroll height and compare with last scroll height
            new_height = driver.execute_script("return document.body.scrollHeight")

            # check if the page height has remained the same
            if new_height == last_height:
                # if so, you are done
                break
            # if not, move on to the next loop
            else:
                last_height = new_height
                continue

driver.execute_script("document.getElementById('your ID Element').scrollIntoView();")

这对我的案子起作用了。

下面是一个示例selenium代码片段，您可以将其用于这种类型的目的。它会转到youtube搜索结果的url“Enumerate python tutorial”，然后向下滚动，直到找到标题为“Enumerate python tutorial(2020)”的视频。

driver.get('https://www.youtube.com/results?search_query=enumerate+python')
target = driver.find_element_by_link_text('Enumerate python tutorial(2020).')
target.location_once_scrolled_into_view

如果你想滚动到无限页面的底部(如linkedin.com)，你可以使用下面的代码:

SCROLL_PAUSE_TIME = 0.5

# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

参考:https://stackoverflow.com/a/28928684/1316860

只是目前提供的解决方案的一个小变化:有时在刮痧中你必须满足以下要求:

一步一步地滚动。否则，如果你总是跳到底部，一些元素只作为容器/div加载，但它们的内容没有加载，因为它们从来都不可见(因为你直接跳到底部); 为加载内容留出足够的时间; 这不是一个无限滚动的页面，有一个终点，你必须确定什么时候到达终点;

下面是一个简单的实现:

from time import sleep
def keep_scrolling_to_the_bottom():
    while True:
        previous_scrollY = my_web_driver.execute_script( 'return window.scrollY' )
        my_web_driver.execute_script( 'window.scrollBy( 0, 230 )' )
        sleep( 0.4 )
        if previous_scrollY == my_web_driver.execute_script( 'return window.scrollY' ):
            print( 'job done, reached the bottom!' )
            break

测试和工作在Windows 7 x64, Python 3.8.0, selenium 4.1.3，谷歌Chrome 107.0.5304.107，物业租赁网站。