这实际上取决于站点和结果的分页工作方式（具体实现），例如，如果您可以点击结果的n页和URL后缀，然后显示某种查询以显示结果的数量，并从21开始等等，那么您根本不需要硒，您只需要使用循环和一些等待时间就可以做到这一点，这样您就不会向站点发送垃圾信息。

关于这个问题的答案，我发现有一些有用的启发式。

• https://stackoverflow.com/A/44102555/9217153

我仍然不确定我看到了一个清晰的问题，你只是描述了一个问题并提出了解决方案，但我不知道你在什么地方遇到了问题/技术问题/问题不起作用。

如果你想找的话，网上也有很多指南

• https://www.digitalocean.com/community/Tutorials/how-to-scrape-web-pages-with-beautiful-Soup-and-python-3
• https://www.dataquest.io/blog/web-scraping-beautifulsoup/

这里有一个Youtube视频展示了如何使用Scrapy，但同样的概念也适用，重要的是URL后缀，而不是点击页面。

• https://www.youtube.com/watch?v=qumujys9bcu

下面的一个例子显示了页面遍历如何在Selenium+Python中工作

• https://www.youtube.com/watch?v=zjo9yfhoul8