i
а, дочитал до конца, уже решили)
Мне еще в свое время вот этот текст помог: https://docs.scrapy.org/en/latest/topics/broad-crawls.html
Мне еще в свое время вот этот текст помог: https://docs.scrapy.org/en/latest/topics/broad-crawls.html
Size: a a a
2020 July 26
UN
oddschecker.com oddsportal.com хорошо парсятся, если не нужны реал тайм данные
Nowgoal так же отлично парсится
S
не может быть такого, что начинаются холостые срабатывания по dupe-filter? Типа чем дальше в лес, тем больше посещенных ссылок, по которым он уже ходил. У меня примерно так выглядело когда-то подобное снижение скорости.
да странное решение на сайте, из одного айпи можно парсить на всю мощь, но не из одной сессии. Чем дольше парсер работает с куками тем медленнее парсилось, вплоть до 8-9 items/m
AR
да, только память кончится из-за дупфильтра
AR
ну и оно рано или поздно упадёт и надо что-то думать про промежуточные результаты
AS
привет
AS
подскажите как мне запустить это циклом?
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
page = driver.find_element_by_css_selector("a[class='c-pagination__link js-pagination-link ']")
page.click()
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
page = driver.find_element_by_css_selector("a[class='c-pagination__link js-pagination-link ']")
page.click()
К
подскажите как мне запустить это циклом?
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
page = driver.find_element_by_css_selector("a[class='c-pagination__link js-pagination-link ']")
page.click()
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
page = driver.find_element_by_css_selector("a[class='c-pagination__link js-pagination-link ']")
page.click()
оборачиваешь в for или while
AS
оборачиваешь в for или while
та знаю, я просто не могу понять как
AS
ну типа там один елемент для поиска
AS
page = driver.find_element_by_css_selector("a[class='c-pagination__link js-pagination-link ']")
iz
page = driver.find_element_by_css_selector("a[class='c-pagination__link js-pagination-link ']")
В лист собери его нет ?