Size: a a a

2020 August 23

МБ

Максим Барулин... in Scrapy
сейчас всё через тор идёт
источник

A

Andrii in Scrapy
Максим Барулин
я свой ип залочил случайно
Убавь оборотьі или подключи прокси ротатор на проксяк так 50
источник

К

Кирилл in Scrapy
Беспощадный рынок рецептов...
источник

A

Andrii in Scrapy
источник

A

Andrii in Scrapy
Ну скажу, что бьіл проект спарсить рецептьі пива, так их там под 3млн рецептов
источник

МБ

Максим Барулин... in Scrapy
Andrii
Убавь оборотьі или подключи прокси ротатор на проксяк так 50
class TorMiddleware(object):
   def process_request(self, request, spider):
       os.system("(echo signal newnym; echo quit) | nc localhost 9051")
       request.meta['proxy'] = settings.HTTP_PROXY

такое не катит?
источник

A

Andrii in Scrapy
Haproxy с тором в докере?
источник

МБ

Максим Барулин... in Scrapy
нет привокси + тор на хосте, доскер не настраивал
источник

A

Andrii in Scrapy
У него баг походу, раз за запуск докера дает айпи, проверь какой там пул
источник

A

Andrii in Scrapy
Да откуда я знаю сколько у тебя там проксяк
источник

A

Andrii in Scrapy
Может 2 может 2000
источник

К

Кирилл in Scrapy
Люди, хватит уже мучать тор
источник

МБ

Максим Барулин... in Scrapy
Кирилл
Люди, хватит уже мучать тор
альтернатива, причём бесплатная желательно
источник

К

Кирилл in Scrapy
Анальный зонд хорошая альтернатива, правда немного нужно будет заплатить
источник

S

SoHard 🎄 in Scrapy
https://luminati.io/?affiliate=ref_5f34ec2ec7669177abd94f8c

(если рефку низя то удалите)
платишь 1 бакс  - получаешь 6 и очень большой пул айпишек в тарифе Датацентр
источник

A

Andrii in Scrapy
Не знаю как с рефками, но себе сохранил)
источник

AR

Andrey Rahmatullin in Scrapy
Максим Барулин
такая фигня наблюдается примерно после 50-60 страниц
внутрь текста страницы смотрел глазами, или только селекторами?
источник

МБ

Максим Барулин... in Scrapy
Andrey Rahmatullin
внутрь текста страницы смотрел глазами, или только селекторами?
смотрел в браузвере, там ок, походу дело где-то в торе, сейчас парсит без проблем...
источник

AR

Andrey Rahmatullin in Scrapy
зачем в браузере, я про страницы, которые скрапи видит плохими
источник

S

SoHard 🎄 in Scrapy
Максим Барулин
смотрел в браузвере, там ок, походу дело где-то в торе, сейчас парсит без проблем...
а сайт банит? там вообще тор нужен?
источник