В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

829 membersпожаловаться на группу
2021 February 14

i

i in Scrapy
где там этото FAQ от Булата?
источник
17:47пожаловаться#1

К

Кирилл in Scrapy
i
где там этото FAQ от Булата?
В закрепе
источник
17:48пожаловаться#2

H

Harsh in Scrapy
i
btw crawlera had some problems with AUTOTHROTTLE
Oh. That's heads-up. Thanks. :)
источник
17:48пожаловаться#3

H

Harsh in Scrapy
i
я очень хочу в скрапи поддержку js-рендера искаропки. Относительно легко подключаемую. Без танцев с бубном на splash (дело даже не в докере, а то, что он юзает движок не по-стандарту индустрии), а на чем-то вроде playwright/selenium+chrome/firefox,
Hahaha.
источник
17:49пожаловаться#4

i

i in Scrapy
I remember Bulatbulat48 had some problems with it on scrapinghub hosting, but it was a loooong time ago: https://github.com/bulatbulat48/ru-scrapy-python/blob/master/README.md
GitHub
bulatbulat48/ru-scrapy-python
Scrapy: В этом репозитории находится полезная информация, собранная участниками telegram чата @scrapy_python - bulatbulat48/ru-scrapy-python
источник
17:49пожаловаться#5

H

Harsh in Scrapy
I haven't tried scrapy playwright. seems interesting
источник
17:49пожаловаться#6

i

i in Scrapy
Hm, seems it was not problem, it was just already some auto delays by default? Dunno:
Хостинг Scrapinghub по дефолту стоит задержка, нужно отключать в настройках AUTOTHROTTLE_ENABLED чекбокс False
источник
17:50пожаловаться#7

К

Кирилл in Scrapy
i
я очень хочу в скрапи поддержку js-рендера искаропки. Относительно легко подключаемую. Без танцев с бубном на splash (дело даже не в докере, а то, что он юзает движок не по-стандарту индустрии), а на чем-то вроде playwright/selenium+chrome/firefox,
Не думаю что такое будет, это было бы совмещение разных проектов. Сейчас же речь идет только о скрапи, насколько понимаю
источник
17:54пожаловаться#8

i

i in Scrapy
тогда
источник
18:01пожаловаться#9

i

i in Scrapy
источник
18:01пожаловаться#10

К

Кирилл in Scrapy
ох, ты прям мемчик писал
источник
18:01пожаловаться#11

i

i in Scrapy
где мой кэш на лям запросов на 100 файлов? ыыыыы( (плачу уже 3 года, раз в год)
источник
18:02пожаловаться#12

К

Кирилл in Scrapy
i
тогда
https://github.com/elacuesta/scrapy-pyppeteer пробовал это?
GitHub
elacuesta/scrapy-pyppeteer
Pyppeteer integration for Scrapy. Contribute to elacuesta/scrapy-pyppeteer development by creating an account on GitHub.
источник
18:02пожаловаться#13

i

i in Scrapy
пока нет, в последнее время я что-то навострился имитировать чего там  js из себя изображает тупо запросами, но иной раз тааак надоедает.
источник
18:05пожаловаться#14

i

i in Scrapy
А с другой стороны, иногда вообще легкотня попадается, типа добавил cookies = {"beget": "begetok"} и все обратно заработало 😊
источник
18:05пожаловаться#15

К

Кирилл in Scrapy
i
А с другой стороны, иногда вообще легкотня попадается, типа добавил cookies = {"beget": "begetok"} и все обратно заработало 😊
и CF challange имитируешь?)
источник
18:06пожаловаться#16

i

i in Scrapy
я даже не знаю чего это)
источник
18:06пожаловаться#17

i

i in Scrapy
а, cloudfare
источник
18:07пожаловаться#18

К

Кирилл in Scrapy
да
источник
18:07пожаловаться#19

i

i in Scrapy
а вообще, ничего нет страшнее, чем тупо сервер, который еле дышит и отдает 5 запросов в минуту, сколько ты потоков не делай и со скольки ip не лезь.
источник
18:13пожаловаться#20