提问者:小点点

如何等到使用SeleniumPython选择特定下拉菜单?


我为这个页面做了一个爬虫(http://www.bobaedream.co.kr/cyber/CyberCar.php?gubun=I),收集具体厂家的库存列表,过程是从选择搜索菜单上部第一行的下拉菜单开始。

每个右侧下拉菜单都是其左侧下拉菜单的子菜单,我想做的是在每个下拉菜单中选择每个第一项,并单击第一次运行的“搜索”按钮。抓取其库存列表后,然后我设置最后一个下拉菜单的第二项,并单击“搜索”按钮。

但问题就出在这里。我将每个下拉菜单的每一项都保存为元组。当我尝试调用最后一个下拉菜单的第二项进行第二轮抓取时,会出现“元素不再附加到DOM”的消息。因此,我想让元素等待直到每一轮下拉迭代完成。

下面是我的代码,但仍然有错误信息。我的错误通常发生在第二个while循环中。此时,我想第二个“try”函数中的某种类型的“wait.EC.~)”代码可以解决这个问题,但我对此没有具体的想法。请帮助或给我任何建议。

def option2_menu_loaded(inDriver):
    path = '//select[@id="level2_no"]'
    return inDriver.find_element_by_xpath(path)

self.wait.until(option2_menu_loaded)

while True:
    try:
        select_option2_values = [
            ('%s' % o.get_attribute('text'), '%s' % o.get_attribute('value'))
            for o
            in self.getNewSelect("#level2_no").options
            if o.get_attribute('text') != '세부등급']
    except (StaleElementReferenceException, NoSuchElementException):
        print("Exception Found")
        continue
    break

for option2 in select_option2_values:
    self.csv.setCarTitle(ma, mo, de, option1[0], option2[0])

    print(option2[0], option2[1])
    self.driver.implicitly_wait(0.5)

    while True:
        try:
            self.getNewSelect("#level2_no").select_by_value(option2[1])
        except (StaleElementReferenceException, NoSuchElementException):
            self.getNewSelect("#level2_no").options
            print("Exception Found")
            continue
        break

共1个答案

匿名用户

如果你用谷歌搜索StaleElementException,你会看到试图在循环中再次找到元素的解决方案。所以这是一个想法,在你上面的异常中,在每次尝试再次find_Element之前尝试3次,延迟1秒,看看这是否有帮助。

另一个想法是在每次抓取之间刷新页面(当然不理想,但可能有效)。您可以使用以下方法在Python中做到这一点:

driver.refresh()

最后,您还可以在抓取时避免循环(这可能会导致StaleElementException)遍历所有不同的元素,因为Selenium对此有解决方案。您可以使用find_ElementS而不是find_ElemenT将所有内容保存在元组/数组中,而无需循环遍历每条记录。试试这个,看看它是否能提高您的整体性能:

a=[];
a = driver.find_elements_by_xpath(path)

祝你好运!