В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

568 membersпожаловаться на группу
2020 July 25

D

Dr. Bot in Scrapy
источник
18:43пожаловаться#1

V

Viktor in Scrapy
Dr. Bot
Что за софт?
источник
18:46пожаловаться#2

К

Кирилл in Scrapy
Поиск?)
источник
18:46пожаловаться#3

✏d

✏️ Oleksandr dntPani... in Scrapy
скажите, как парсить сайт если там 429 ошибка, причем с того же ИП через браузер - все ок.
скрапи-юзерагент не помог
источник
18:47пожаловаться#4

V

Viktor in Scrapy
Кирилл
Поиск?)
Это в браузере или где?)
источник
18:47пожаловаться#5

D

Dr. Bot in Scrapy
Viktor
Что за софт?
какой? sublime text 3 или wget?
источник
18:48пожаловаться#6

К

Кирилл in Scrapy
Не, это обычный поиск, есть почти во всех редакторах и IDE
источник
18:48пожаловаться#7

D

Dr. Bot in Scrapy
поиск по регуляркам есть везде
источник
18:48пожаловаться#8

S

SoHard 🎄 in Scrapy
Кирилл
Может быть сайт тротлит, или еще бывает плохие прокси с большим таймаутом забивают очередь
прокси нет, сайт кажись не блочит
параллельно могу включить другой екземпляр парсера  и он делает 60 items/m если скормить ему не много ссылок

после 5000 где-то начинает скорость падать до дна
источник
18:50пожаловаться#9

К

Кирилл in Scrapy
Может быть по куки сесси тротлит?  Других идей пока нет
источник
18:51пожаловаться#10

К

Кирилл in Scrapy
Если у тебя нет каких-то сложных списков/структур которые постепенно наполняются, и ты по ним итерируешься с О(n)
источник
18:54пожаловаться#11

К

Кирилл in Scrapy
Но я не думаю что у тебя такое есть
источник
18:54пожаловаться#12

S

SoHard 🎄 in Scrapy
Кирилл
Если у тебя нет каких-то сложных списков/структур которые постепенно наполняются, и ты по ним итерируешься с О(n)
нет
источник
18:55пожаловаться#13

S

SoHard 🎄 in Scrapy
Кирилл
Может быть по куки сесси тротлит?  Других идей пока нет
как можно решить? а то я даже не могу понять куда гуглить
источник
18:56пожаловаться#14

К

Кирилл in Scrapy
Сбросить куки при падении скорости
источник
18:57пожаловаться#15

AR

Andrey Rahmatullin in Scrapy
выключить куки вообще
источник
18:59пожаловаться#16

S

SoHard 🎄 in Scrapy
Andrey Rahmatullin
выключить куки вообще
уже пробую, сайту вроде как похер
источник
19:01пожаловаться#17

К

Кирилл in Scrapy
Хотя конечно сложно представить, что выберут тротл по сессии, а не IP
источник
19:02пожаловаться#18

D

Dr. Bot in Scrapy
там нет тротла. он паузу не ставит и вешает сайт ))
источник
19:04пожаловаться#19

К

Кирилл in Scrapy
Так сказал что одновременно второй парсер запускает и у второго норм скорость
источник
19:05пожаловаться#20