В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

566 membersпожаловаться на группу
2020 July 16

К

Кирилл in Scrapy
Не усложняй себе жизнь. Тебе на блюдечке дают данные, а ты хочешь рендерить через js, а потом парсить
источник
18:31пожаловаться#1

МП

Максим Петров... in Scrapy
спасибо
источник
18:33пожаловаться#2

К

Кирилл in Scrapy
На крайний случай, если ты там делаешь какое-то супер gui для парсинга, и тебе не важна скорость и сами данные, а чтоб пользователь визуально видел что он выбирает, тогда можно селениум использовать, если сплеш не справляется
источник
18:38пожаловаться#3

МП

Максим Петров... in Scrapy
Спасибо посмотрю.
источник
18:44пожаловаться#4

t

tfhx8 in Scrapy
Прочитал эту статью:
источник
21:08пожаловаться#5

t

tfhx8 in Scrapy
https://medium.com/random-life-journal/scrape-nasdaq-data-with-scrapy-selenium-7a0b0e95884f
Medium
Scrape Nasdaq data with Scrapy + Selenium
The previous article is about three months ago, it’s time to write some technical note~ I kick off my side-project for graduation these…
источник
21:08пожаловаться#6

t

tfhx8 in Scrapy
В ней используют селениум. Я так понимаю парсится будетв одном потоке?
источник
21:09пожаловаться#7

К

Кирилл in Scrapy
Да
источник
21:15пожаловаться#8

t

tfhx8 in Scrapy
получается многопоток как в обычном режиме уже не будет работать?
источник
21:20пожаловаться#9

AR

Andrey Rahmatullin in Scrapy
скрапи однопоточен
источник
21:29пожаловаться#10

t

tfhx8 in Scrapy
интересно почему так?
источник
21:47пожаловаться#11

VB

Vladyslav Babych in Scrapy
потому-что так
источник
21:52пожаловаться#12

VB

Vladyslav Babych in Scrapy
он асинхронный
источник
21:52пожаловаться#13

t

tfhx8 in Scrapy
Vladyslav Babych
он асинхронный
а если будет использоваться селениум, то уже не асинхронно будет?
источник
21:57пожаловаться#14

t

tfhx8 in Scrapy
В теории конечно можно запускать несколько спайдеров,но тут им на вход видимо нужно давать очередь, чтобы они на одни и те же урлы не заходили?
источник
21:58пожаловаться#15

AR

Andrey Rahmatullin in Scrapy
а чо мешает асинхронно? сунуть его в deferToThread
источник
22:02пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
time.sleep убрать конечно
источник
22:02пожаловаться#17

AR

Andrey Rahmatullin in Scrapy
в гугле правда никто так не делает
источник
22:04пожаловаться#18

AR

Andrey Rahmatullin in Scrapy
(но это ничего не значит)
источник
22:04пожаловаться#19

t

tfhx8 in Scrapy
Andrey Rahmatullin
а чо мешает асинхронно? сунуть его в deferToThread
может и сработает
источник
22:11пожаловаться#20