В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

765 membersпожаловаться на группу
2020 December 09

D

Dmitry in Scrapy
Andrey Rahmatullin
но ты можешь написать тикет что в  этом месте не хватает про дисковые очереди и сериализацию, да
Ок. Так как это похоже на мету, то допустил, что работает аналогично. А в мете написано If given, the dict passed in this parameter will be shallow copied.
источник
12:47пожаловаться#1

AR

Andrey Rahmatullin in Scrapy
хм
источник
12:47пожаловаться#2

AR

Andrey Rahmatullin in Scrapy
не вижу там этого кстати
источник
12:48пожаловаться#3

D

Dmitry in Scrapy
источник
12:48пожаловаться#4

AR

Andrey Rahmatullin in Scrapy
аа, там
источник
12:49пожаловаться#5

D

Dmitry in Scrapy
Andrey Rahmatullin
https://github.com/scrapy/scrapy/issues/2711 вот вам кстати про детект
GitHub
Scrapy capitalizes headers for request · Issue #2711 · scrapy/scrapy
I'm setting the headers following way headers = { 'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'cache-cont...
Да, Георгий скидывал это тогда. Я когда вставил тот сниппет солюшена, всплыло что твистед дублирует content-length при его explicit указании
источник
12:52пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
ха
источник
12:52пожаловаться#7

AR

Andrey Rahmatullin in Scrapy
да, неудобненько
источник
12:52пожаловаться#8

D

Dmitry in Scrapy
Bulatbulat48
а сколько айтемлоадеров передаешь между реквестами?
В моменте тысячи я думаю. По факту нужно пару сотен (для минимизации количества реквестов на таргет), но я когда переделал это все в один класс, там образуется дерево реквестов  и может быть несколько тысяч.
источник
12:56пожаловаться#9

Юd

Юра de jure in Scrapy
reeww eew
Всем привет, начал недавно изучать scrapy. Собственно вопрос, можно где-то найти работу с знанием данного фреймворка по сбору данных? Или может кто уже работает
У меня в городе было пару вакансий где то пол года назад
источник
14:33пожаловаться#10

Юd

Юра de jure in Scrapy
Именно Scrapy
источник
14:33пожаловаться#11

S

SoHard 🎄 in Scrapy
Юра de jure
Именно Scrapy
Голый скрапи без ничего?
источник
14:44пожаловаться#12

Юd

Юра de jure in Scrapy
SoHard 🎄
Голый скрапи без ничего?
Вроде ещё немного фласка было. Парсинг и апи
источник
14:44пожаловаться#13

AR

Andrey Rahmatullin in Scrapy
чо там делать-то на фуллтайм
источник
14:49пожаловаться#14

AR

Andrey Rahmatullin in Scrapy
или это фрилансоагрегатор
источник
14:49пожаловаться#15

СТ

Семён Трояновский... in Scrapy
Andrey Rahmatullin
чо там делать-то на фуллтайм
зависит от объемов и регулярности, бывает так что и 3+ челам на фул тайм хватит )
источник
14:52пожаловаться#16

1

15821 in Scrapy
Юра de jure
У меня в городе было пару вакансий где то пол года назад
в основной канал python сегодня вакансию кидали по парсингу. По крайней мере в Необходимых навыках и опыте было указано - Crawlers and web scraping experience в одном из пунктах
источник
15:02пожаловаться#17

A

Andrii in Scrapy
Andrey Rahmatullin
чо там делать-то на фуллтайм
Почему же, можно делать пауков и поддерживать на инфраструктуру
источник
15:05пожаловаться#18

AR

Andrey Rahmatullin in Scrapy
ну просто средней конторе сколько там этих пауков надо
источник
15:05пожаловаться#19

AR

Andrey Rahmatullin in Scrapy
хотя я хз
источник
15:05пожаловаться#20