В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

568 membersпожаловаться на группу
2020 July 25

S

SoHard 🎄 in Scrapy
Dr. Bot
там нет тротла. он паузу не ставит и вешает сайт ))
сайт с браузера летает
источник
19:05пожаловаться#1

S

SoHard 🎄 in Scrapy
Кирилл
Так сказал что одновременно второй парсер запускает и у второго норм скорость
+
источник
19:05пожаловаться#2

S

SoHard 🎄 in Scrapy
сейчас включил 100 в минуту, посмотрим что будет через 5-6 тысяч
источник
19:06пожаловаться#3

D

Dr. Bot in Scrapy
понял, сорян за троллинг тогда )
источник
19:06пожаловаться#4

К

Кирилл in Scrapy
Рестартить паука и не париться ?)
источник
19:06пожаловаться#5

✏d

✏️ Oleksandr dntPani... in Scrapy
скажите, как парсить сайт если там 429 ошибка, причем с того же ИП через браузер - все ок.
скрапи-юзерагент не помог
источник
19:08пожаловаться#6

B

Bulatbulat48 in Scrapy
✏️ Oleksandr dntPanix |Worm|
скажите, как парсить сайт если там 429 ошибка, причем с того же ИП через браузер - все ок.
скрапи-юзерагент не помог
Скопируйте cookies и засуньте в браузер.
источник
19:09пожаловаться#7

D

Dr. Bot in Scrapy
Bulatbulat48
Скопируйте cookies и засуньте в браузер.
а причем тут куки к 429. которая про "привышено кол-во реквестов" ?
источник
19:10пожаловаться#8

D

Dr. Bot in Scrapy
✏️ Oleksandr dntPanix |Worm|
скажите, как парсить сайт если там 429 ошибка, причем с того же ИП через браузер - все ок.
скрапи-юзерагент не помог
начни с DOWNLOAD_DELAY: 2
источник
19:10пожаловаться#9

✏d

✏️ Oleksandr dntPani... in Scrapy
Dr. Bot
начни с DOWNLOAD_DELAY: 2
эт в Сетингах?
источник
19:10пожаловаться#10

D

Dr. Bot in Scrapy
✏️ Oleksandr dntPanix |Worm|
эт в Сетингах?
да
источник
19:10пожаловаться#11

D

Dr. Bot in Scrapy
https://docs.scrapy.org/en/latest/topics/settings.html#download-delay
источник
19:11пожаловаться#12

B

Bulatbulat48 in Scrapy
Dr. Bot
а причем тут куки к 429. которая про "привышено кол-во реквестов" ?
а, точно, плюсую.
источник
19:11пожаловаться#13

К

Кирилл in Scrapy
Dr. Bot
а причем тут куки к 429. которая про "привышено кол-во реквестов" ?
Количество запросов нужно к чему-то привязывать, если через браузер открывается, значит это не IP
источник
19:12пожаловаться#14

К

Кирилл in Scrapy
Тогда смена кукисов может помочь
источник
19:13пожаловаться#15

✏d

✏️ Oleksandr dntPani... in Scrapy
Dr. Bot
да
its a kind of magic!
источник
19:14пожаловаться#16

✏d

✏️ Oleksandr dntPani... in Scrapy
заработало
источник
19:14пожаловаться#17

D

Dr. Bot in Scrapy
✏️ Oleksandr dntPanix |Worm|
заработало
щя снова забанит ) так что сильно не радуйся, а методично найди комфортное кол-во запросов в минуту
источник
19:15пожаловаться#18

К

Кирилл in Scrapy
Или найди как сбрасывать счетчик, если нужна высокая скорость
источник
19:16пожаловаться#19

A

Artyom in Scrapy
wget -i urls.txt
SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc
syswgetrc = C:\Program Files (x86)\GnuWin32/etc/wgetrc
urls.txt: No such file or directory
источник
19:17пожаловаться#20