не может выделить память - RSelenium и EC2

Я пытаюсь реализовать тест Selenium для выполнения автоматических действий на веб-сайте (перебор страниц). Я использую пакет R и RSelenium, а также PostgreSQL. база данных с использованием пакета DBI. Все это с использованием сервера EC2 AWS.

Моя проблема в том, что через несколько минут после запуска сценария мой сеанс RStudio зависает (а также мой Linux), и я вижу сообщение типа "не удается выделить память". Так что это, без сомнения, проблема с памятью, и, выполнив top, я увидел, что мой докер Selenium использует большую часть ресурсов.

Но у меня вопрос: как уменьшить объем памяти, используемый тестом Selenium?


r amazon-web-services selenium memory rselenium
person ML_Enthousiast    schedule 06.01.2020    source источник
comment
Какой тип экземпляра вы используете в настоящее время? Можете ли вы использовать тип экземпляра с большим объемом памяти?   -  person Rodrigo M    schedule 06.01.2020
comment
Я использую t2.micro (объем памяти: 1024 млн). Я хотел бы понять, что движет этой памятью, прежде чем переходить на другой экземпляр.   -  person ML_Enthousiast    schedule 06.01.2020
comment
Я считаю, что селену в базовой конфигурации требуется более одного гига памяти. Вы можете начать с инстанса с недостаточной мощностью. Нет смысла пытаться настраивать тесты или что-то еще, если это так.   -  person Rodrigo M    schedule 06.01.2020
comment
да, попробую на t2.medium тогда. Спасибо, Родриго!   -  person ML_Enthousiast    schedule 07.01.2020

Ответы (2)


arrow_upward
1
arrow_downward

ИМХО, для теста нет практического способа использовать меньше памяти, чем память, необходимая для данного теста. Вы можете попытаться упростить данный тест, разбив его на 2 или более тестов. Проверьте наличие утечек памяти, как это предлагается в другом ответе.

Было бы гораздо проще использовать следующий по величине тип инстанса с большим объемом памяти и выключать инстанс, когда он не используется, чтобы сэкономить деньги, если это проблема.

person Rodrigo M    schedule 06.01.2020

arrow_upward
1
arrow_downward

Не забывайте drive.close() в своем коде, если вы не закроете свой драйвер, у вас будет много экземпляров Chrome.

person AWS PS    schedule 06.01.2020