В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

589 membersпожаловаться на группу
2020 August 12

К

Кирилл in Scrapy
Где-то ошибка или обрыв цепочки запросов
источник
17:01пожаловаться#1

AR

Andrey Rahmatullin in Scrapy
логику
источник
17:01пожаловаться#2

AR

Andrey Rahmatullin in Scrapy
так не ответить
источник
17:01пожаловаться#3

AR

Andrey Rahmatullin in Scrapy
плюс сайт запросто может отдавать только 1500 итемов, если там пагинация
источник
17:02пожаловаться#4

D

Dr. Bot in Scrapy
или 429. поставь 2-3 сек паузу
источник
17:02пожаловаться#5

A

Andrii in Scrapy
Andrey Rahmatullin
UNIX timestamp в миллисекундах
очень спасибо
источник
17:03пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
429 видно в логе и стате, к счастью
источник
17:04пожаловаться#7

S

Sergey in Scrapy
Andrey Rahmatullin
плюс сайт запросто может отдавать только 1500 итемов, если там пагинация
как это можно победить?
источник
17:05пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
в общем случае никак, крути фильтры и сортировки если есть
источник
17:06пожаловаться#9

AR

Andrey Rahmatullin in Scrapy
но сначала убедись что дело в этом
источник
17:06пожаловаться#10

S

SoHard 🎄 in Scrapy
Sergey
Парни привет! на целевом сайте 57 000 интересующих меня строк. Scrapy успешно собирает 1500 строк и заканчивает работу [scrapy.core.engine] INFO: Closing spider (finished). Что поправить чтобы spider собирал всю инфу?
надо бы ссылку
источник
17:06пожаловаться#11

S

Sergey in Scrapy
ок.  спасибо всем.
источник
17:07пожаловаться#12

A

Archie in Scrapy
как через bs спарсить весь юникод отсюда ? https://unicode.org/emoji/charts-12.0/full-emoji-list.html
источник
17:10пожаловаться#13

AR

Andrey Rahmatullin in Scrapy
нахера? возьми официальные файлы данных
источник
17:11пожаловаться#14

A

Archie in Scrapy
Andrey Rahmatullin
нахера? возьми официальные файлы данных
а где ты увидел?
источник
17:12пожаловаться#15

A

Archie in Scrapy
немогу найти список юникодов емоджи , то хочу спарсить
источник
17:12пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
Archie
а где ты увидел?
ну как где, https://unicode.org/ucd/ и прочее
источник
17:16пожаловаться#17

AR

Andrey Rahmatullin in Scrapy
emoji/emoji-data.txt вот норм
источник
17:20пожаловаться#18

AR

Andrey Rahmatullin in Scrapy
https://www.unicode.org/Public/UCD/latest/ucd/emoji/emoji-data.txt
источник
17:20пожаловаться#19

AR

Andrey Rahmatullin in Scrapy
или тебе картинки вендоров надо?
источник
17:22пожаловаться#20