В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

507 membersпожаловаться на группу
2020 June 24

AR

Andrey Rahmatullin in Scrapy
Твистед последний?
источник
20:58пожаловаться#1

D

Dmitry in Scrapy
Andrey Rahmatullin
Твистед последний?
Ну месячной давности макс
источник
21:00пожаловаться#2

D

Dmitry in Scrapy
Ок, скину. А как это обозвать лучше?
источник
21:01пожаловаться#3

D

Dmitry in Scrapy
Leaking exception? :)
источник
21:01пожаловаться#4

AR

Andrey Rahmatullin in Scrapy
Наверно
источник
21:05пожаловаться#5

AR

Andrey Rahmatullin in Scrapy
Напиши только что это бранч
источник
21:05пожаловаться#6

SS

Stepan Smirnov in Scrapy
а что такое memory leak в контексте парсинга?
источник
21:15пожаловаться#7

AR

Andrey Rahmatullin in Scrapy
контекст не важен, это везде одно и то же означает
источник
21:16пожаловаться#8

i

ildar in Scrapy
Vladyslav Babych
Был у кого-то опыт миграции с parsel на selectolax? Можно это как-то провернуть без переписывания всех селекторов и процессоров?
а куда мигрируешь?
источник
23:29пожаловаться#9

VB

Vladyslav Babych in Scrapy
ildar
а куда мигрируешь?
На selectolax
источник
23:29пожаловаться#10

i

ildar in Scrapy
в первый раз слышу. может мне тоже надо) а чем он круче?
источник
23:30пожаловаться#11

VB

Vladyslav Babych in Scrapy
ildar
в первый раз слышу. может мне тоже надо) а чем он круче?
Значительно быстрее
источник
23:31пожаловаться#12

VB

Vladyslav Babych in Scrapy
Но нету плюшек типа ::text
источник
23:31пожаловаться#13

VB

Vladyslav Babych in Scrapy
И есть nth child
источник
23:31пожаловаться#14

VB

Vladyslav Babych in Scrapy
https://github.com/rushter/selectolax
GitHub
rushter/selectolax
Python binding to Modest engine (fast HTML5 parser with CSS selectors). - rushter/selectolax
источник
23:32пожаловаться#15

i

ildar in Scrapy
аа, скорость)  я вот как-то нашел вместо json тоже orjson, где надо лопатить много json быстрее получается.
источник
23:33пожаловаться#16

i

ildar in Scrapy
а ты проверял на своем каком-то проекте? ну просто, скрапи может молотить там 2-4к айтемов на 10-20 полей в секунду. И обычно все упирается в сеть
источник
23:34пожаловаться#17

VB

Vladyslav Babych in Scrapy
ildar
а ты проверял на своем каком-то проекте? ну просто, скрапи может молотить там 2-4к айтемов на 10-20 полей в секунду. И обычно все упирается в сеть
Да, тестил на своих данных. У меня около 50 селекторов, я добавил лог на скорость обработки, и их парсинг до 0.5 секунд занимает
источник
23:37пожаловаться#18

VB

Vladyslav Babych in Scrapy
Вот сейчас наверное придется переписывать обработчики и теги
источник
23:38пожаловаться#19

i

ildar in Scrapy
а так, про миграцию, ты по-идее можешь реализовать наверное этот ::text, может быть даже тупо стырить его с parsel, или где-то в области работы с lxml подсунуть ему этот селехтолах
источник
23:38пожаловаться#20