В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

505 membersпожаловаться на группу
2020 June 20

A

Alex in Scrapy
в общем скорость только через прокси, понял спасибо
источник
16:22пожаловаться#1

К

Кирилл in Scrapy
Делаешь самый оптимальный конфиг для одного IP, и только потом маштабируешь с прокси
источник
16:23пожаловаться#2

A

Alex in Scrapy
Кирилл
Делаешь самый оптимальный конфиг для одного IP, и только потом маштабируешь с прокси
так и задумывал, спасибо!
источник
16:24пожаловаться#3

К

Кирилл in Scrapy
Да, у тебя правильный ход мыслей был
источник
16:24пожаловаться#4

t

tfhx8 in Scrapy
есть либа https://github.com/clemfromspace/scrapy-selenium
GitHub
clemfromspace/scrapy-selenium
Scrapy middleware to handle javascript pages using selenium - clemfromspace/scrapy-selenium
источник
18:15пожаловаться#5

t

tfhx8 in Scrapy
как туда прикрутить это?
источник
18:16пожаловаться#6

t

tfhx8 in Scrapy
https://stackoverflow.com/questions/53039551/selenium-webdriver-modifying-navigator-webdriver-flag-to-prevent-selenium-detec/53040904#53040904
Stack Overflow
Selenium webdriver: Modifying navigator.webdriver flag to prevent selenium detection
I'm trying to automate a very basic task in a website using selenium and chrome but somehow the website detects when chrome is driven by selenium and blocks every request. I suspect that the websit...
источник
18:16пожаловаться#7

t

tfhx8 in Scrapy
тоесть, чтобы выполнилось: driver.execute_cdp_cmd
источник
18:16пожаловаться#8

И

Илья in Scrapy
Уважаемые коллеги, как вы решаете проблему с поиском прокси  ? Я так понял, что скрапи переваривает только HTTPS  у меня их получается найти от силы с десяток, при этом надежными их вообще нельзя назвать. Как вы выходите из ситуации ?
источник
18:28пожаловаться#9

К

Кирилл in Scrapy
Покупаешь сколько хочешь)
источник
18:29пожаловаться#10

К

Кирилл in Scrapy
С HTTP у скрапи все нормально
источник
18:29пожаловаться#11

И

Илья in Scrapy
сайт с https:// не будет работать с просто http, я прав ?
источник
18:31пожаловаться#12

К

Кирилл in Scrapy
Зависит от сайта, но сейчас почти везде насильный редирект на https
источник
18:32пожаловаться#13

ФФ

Фаза Фазов in Scrapy
я тут прокси беру https://proxybroker.readthedocs.io/en/latest/examples.html
источник
18:33пожаловаться#14

И

Илья in Scrapy
мне говорил что версии SSL не соответствуют, то есть чтобы было штук 50  только покупать
источник
18:34пожаловаться#15

RC

Ravi Chavare in Scrapy
Any scrapy official group where English as a common language😊
источник
18:34пожаловаться#16

К

Кирилл in Scrapy
В любом случае покупать, публичные прокси это мусор
источник
18:34пожаловаться#17

И

Илья in Scrapy
Фаза Фазов
я тут прокси беру https://proxybroker.readthedocs.io/en/latest/examples.html
вот это подгон, спасибо
источник
18:35пожаловаться#18

К

Кирилл in Scrapy
Ravi Chavare
Any scrapy official group where English as a common language😊
reddit
источник
18:35пожаловаться#19

И

Илья in Scrapy
Ravi Chavare
Any scrapy official group where English as a common language😊
are you don't like russians ?
источник
18:37пожаловаться#20