В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

592 membersпожаловаться на группу
2020 August 21

К

Кирилл in Scrapy
только помни, что после того как заканчиваются твои синхронные запросы для получения токена, дальше скрапи опять начнет свою очередь стрелять, и запрос с токеном на сайт может дойти не сразу, а через некоторое количество запросов
источник
10:22пожаловаться#1

A

Andrii in Scrapy
Всем привет. Такс, кто крутил пупитр со скрапи?) Нашел https://github.com/ispras/scrapy-puppeteer (ну и сервер часть)
GitHub
ispras/scrapy-puppeteer
Library that helps use puppeteer in scrapy. Contribute to ispras/scrapy-puppeteer development by creating an account on GitHub.
источник
10:47пожаловаться#2

A

Andrii in Scrapy
может есть по лучше решение?
источник
10:47пожаловаться#3

A

Andrii in Scrapy
еще вопросик, кто смог подружить https://github.com/TeamHG-Memex/scrapy-rotating-proxies с прокси с кредами?
GitHub
TeamHG-Memex/scrapy-rotating-proxies
use multiple proxies with Scrapy. Contribute to TeamHG-Memex/scrapy-rotating-proxies development by creating an account on GitHub.
источник
11:34пожаловаться#4

OS

Oleg Shleiko in Scrapy
Andrii
еще вопросик, кто смог подружить https://github.com/TeamHG-Memex/scrapy-rotating-proxies с прокси с кредами?
GitHub
TeamHG-Memex/scrapy-rotating-proxies
use multiple proxies with Scrapy. Contribute to TeamHG-Memex/scrapy-rotating-proxies development by creating an account on GitHub.
ROTATING_PROXY_LIST = [
    'login:pass@proxy1.com:8000',
    'login:pass@proxy2.com:8031',
    # ...
]
так не работает?
источник
11:44пожаловаться#5

A

Andrii in Scrapy
неа
источник
11:44пожаловаться#6

A

Andrii in Scrapy
задолбал уже тот клаудфлайр)
источник
11:45пожаловаться#7

OS

Oleg Shleiko in Scrapy
Ну если я верно нашёл то используется банальный
request.meta['proxy'] = proxy
соответственно 'login:pass@proxy1.com:8000' должен вроде как работать
источник
11:47пожаловаться#8

OS

Oleg Shleiko in Scrapy
Может на стороне проксей что не так?
источник
11:47пожаловаться#9

D

Dr. Bot in Scrapy
cloudflare обходится нормально селениумом
источник
11:47пожаловаться#10

E

Evgen in Scrapy
c https://xn--90adear.xn--p1ai/check/auto/ кто нить работает последнее время? Они порог подкрутили чтоль на рекаптче...
источник
12:14пожаловаться#11

AR

Andrey Rahmatullin in Scrapy
Oleg Shleiko
Ну если я верно нашёл то используется банальный
request.meta['proxy'] = proxy
соответственно 'login:pass@proxy1.com:8000' должен вроде как работать
ну да
источник
12:57пожаловаться#12

A

Andrii in Scrapy
Dr. Bot
cloudflare обходится нормально селениумом
нормально если ну 10к страниц, а если от 5млн ?)
источник
12:58пожаловаться#13

S

SoHard 🎄 in Scrapy
Andrii
нормально если ну 10к страниц, а если от 5млн ?)
А там разве один раз пройти проверку а дальше спокойно работать не выйдет?
источник
13:00пожаловаться#14

A

Andrii in Scrapy
SoHard 🎄
А там разве один раз пройти проверку а дальше спокойно работать не выйдет?
решить капчу, а потом импортировать куки?
источник
13:01пожаловаться#15

AR

Andrey Rahmatullin in Scrapy
ну да
источник
13:01пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
вы сдурели на каждый запрос капчу решать :)
источник
13:01пожаловаться#17

OS

Oleg Shleiko in Scrapy
Куки в сессии по дефолту вроде храняться
источник
13:01пожаловаться#18

AR

Andrey Rahmatullin in Scrapy
смотря что называть сессией
источник
13:01пожаловаться#19

S

SoHard 🎄 in Scrapy
Andrii
решить капчу, а потом импортировать куки?
Там же 5 сек ожидания или капча тоже?
источник
13:02пожаловаться#20