Size: a a a

2020 August 21

К👨

Кемп 👨🏻‍💻... in Scrapy
Ааа спасибо
источник

К👨

Кемп 👨🏻‍💻... in Scrapy
+
источник

МС

Михаил Синегубов... in Scrapy
@trefto - кэпом работаешь? 😂
источник

К

Кирилл in Scrapy
Михаил Синегубов
@trefto - кэпом работаешь? 😂
да
источник

SS

Stepan Smirnov in Scrapy
Кирилл
Сделай условие, выполнить скрипт когда кнопки будут видимы
Добавил в JS функцию, которая ждет 10 секунд, затем нажимает кнопку. В окне открывающемся после view(response) функция работает и кнопка нажимается, но паук этого не делает не выполняет
js_code = """
await new Promise(r => setTimeout(r, 10000));
document.querySelector('.countriesRight+ .countriesRight a:nth-child(17)').click()
"""
источник

S

SoHard 🎄 in Scrapy
Stepan Smirnov
Добавил в JS функцию, которая ждет 10 секунд, затем нажимает кнопку. В окне открывающемся после view(response) функция работает и кнопка нажимается, но паук этого не делает не выполняет
js_code = """
await new Promise(r => setTimeout(r, 10000));
document.querySelector('.countriesRight+ .countriesRight a:nth-child(17)').click()
"""
в селениуме есть возможность ждать елемент
источник

S

SoHard 🎄 in Scrapy
без таймеров
источник

К

Кирилл in Scrapy
Stepan Smirnov
Добавил в JS функцию, которая ждет 10 секунд, затем нажимает кнопку. В окне открывающемся после view(response) функция работает и кнопка нажимается, но паук этого не делает не выполняет
js_code = """
await new Promise(r => setTimeout(r, 10000));
document.querySelector('.countriesRight+ .countriesRight a:nth-child(17)').click()
"""
Я говорил про функции селениума, не по js
источник

К

Кирилл in Scrapy
Наверное можно как-то и через js делать, но тут уже не знаю как
источник

S

SoHard 🎄 in Scrapy
Кирилл
Наверное можно как-то и через js делать, но тут уже не знаю как
главное "зачем?"
источник

S

SoHard 🎄 in Scrapy
Stepan Smirnov
Пытаюсь при помощи scrapy-selenium на сайте https://www.sigmaaldrich.com установить локацию на Норвегию (нажать конкретную кнопку на начальном экране). Думаю использовать для этого JS код (в  консоли браузера все успешно срабатывает). Что нужно изменить чтобы JS код выполнялся (кнопки со странами появляются через секунду после загрузки страницы)?
https://pastebin.com/6prbjjmq
источник

A

Andrii in Scrapy
time.sleep() никогда не подводил)
источник

S

SoHard 🎄 in Scrapy
Andrii
time.sleep() никогда не подводил)
там пример есть в доке, он ждет до указанного времени и опрашивает каждых 500 мс
источник

К

Кирилл in Scrapy
SoHard 🎄
главное "зачем?"
Может быть человек умеет круто js и хочет более тонко чувствовать процесс
источник

S

SoHard 🎄 in Scrapy
SoHard 🎄
там пример есть в доке, он ждет до указанного времени и опрашивает каждых 500 мс
это может экономить кучу времени
источник

S

SoHard 🎄 in Scrapy
Кирилл
Может быть человек умеет круто js и хочет более тонко чувствовать процесс
тогда бы и парсить на js лучше было бы
источник

К

Кирилл in Scrapy
логично
источник

SS

Stepan Smirnov in Scrapy
я делаю через scrapy-selenium, остальные подходы вроде splash, selenium не подходят по различным причинам
источник

S

SoHard 🎄 in Scrapy
Stepan Smirnov
Пытаюсь при помощи scrapy-selenium на сайте https://www.sigmaaldrich.com установить локацию на Норвегию (нажать конкретную кнопку на начальном экране). Думаю использовать для этого JS код (в  консоли браузера все успешно срабатывает). Что нужно изменить чтобы JS код выполнялся (кнопки со странами появляются через секунду после загрузки страницы)?
https://pastebin.com/6prbjjmq
но тут ты пишешь про селениум
источник

SS

Stepan Smirnov in Scrapy
SoHard 🎄
но тут ты пишешь про селениум
scrapy-selenium
источник