Не удалось расшифровать ответ от сообщения марионетки в скрипте безголового соскабливания Python / Firefox

Проблема в том, что вы не закрываете драйвер. Я совершил ту же ошибку. Whit htop в Linux, я заметил, что я занимаю все 26 ГБ моего компьютера с незакрытым процессом firefox.

Вероятно, реальная проблема заключается в том, что модель DOM еще не загружена, и вы запускаете поиск на следующей странице. Вот почему sleep(3) работает в большинстве случаев. Правильное решение - использовать класс ожидания.

Это пример тестового случая с использованием функции ожидания для Nextcloud. Это из моего образа docker-selenium-firefox-python: https://hub.docker.com/r/nowsci/selenium

Обратите внимание, как вызывается класс wait, окружающий любые вызовы click или get. По сути, это использует тот факт, что селен изменяет идентификатор тега HTML при загрузке страницы. Функция ожидания проверяет, отличается ли новый идентификатор от старого, и если это так, DOM загружена.

import time
from selenium.webdriver import Firefox
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.common.keys import Keys

class wait(object):

    def __init__(self, browser):
        self.browser = browser

    def __enter__(self):
        self.old_page = self.browser.find_element_by_tag_name('html')

    def page_has_loaded(self):
        new_page = self.browser.find_element_by_tag_name('html')
        return new_page.id != self.old_page.id

    def __exit__(self, *_):
        start_time = time.time()
        while time.time() < start_time + 5:
            if self.page_has_loaded():
                return True
            else:
                time.sleep(0.1)
        raise Exception('Timeout waiting for page load.')

def test():
    try:
        opts = Options()
        opts.headless = True
        assert opts.headless  # Operating in headless mode
        browser = Firefox(options=opts)
    except Exception as e:
        print("  -=- FAIL -=-: Browser setup - ", e)
        return

    # Test title
    try:
        with wait(browser):
            browser.get('https://nextcloud.mydomain.com/index.php/login')
        assert 'Nextcloud' in browser.title
    except Exception as e:
        print("  -=- FAIL -=-: Initial load - ", e)
        return
    else:
        print("  Success: Initial load")

    try:
        # Enter user
        elem = browser.find_element_by_id('user')
        elem.send_keys("MYUSER")

        # Enter password
        elem = browser.find_element_by_id('password')
        elem.send_keys("MYPASSWORD")

        # Submit form
        elem = browser.find_element_by_id('submit')
        with wait(browser):
            elem.click()

        # Check title for success
        assert 'Files' in browser.title
    except Exception as e:
        print("  -=- FAIL -=-: Login - ", e)
        return
    else:
        print("  Success: Login")

    print("  Finished.")

print("Testing nextcloud...")
test()

Объедините это с ответом @myol, если вы используете Docker.

Я надеюсь, что это спасет какую-нибудь другую беднягу от часов, которые я только что потратил на это.

Загрузите старую версию firefox (в частности, v66 для меня) и укажите селен там:

firefox_binary='/home/user/Downloads/old_firefox/firefox/firefox'

Попробуйте это для Ubuntu 16.04:

1. Установить firefox

sudo apt update
sudo apt install firefox

2. Убедитесь, что firefox правильно установлен

which firefox

Верну /usr/bin/firefox

3. Перейдите на страницу geckodriver выпусков. Найдите последнюю версию драйвера для своей платформы и загрузите ее. Например:

wget https://github.com/mozilla/geckodriver/releases/download/v0.24.0/geckodriver-v0.24.0-linux64.tar.gz

4. Распакуйте файл с помощью:

tar -xvzf geckodriver*

5. Сделайте его исполняемым:

chmod +x geckodriver

6. Переместите его в $PATH и предоставьте root доступ

sudo mv geckodriver /usr/bin/
cd /usr/bin
sudo chown root:root geckodriver

7. Установить selenium

pip3 install selenium

8. Добавьте firefox и geckodriver к $PATH

sudo vim ~/.bashrc

Добавьте две строки:

export PATH=$PATH:"/usr/bin/firefox"
export PATH=$PATH:"/usr/bin/geckodriver"

9. Перезагрузите свой экземпляр

sudo reboot