В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

567 membersпожаловаться на группу
2020 July 17

К

Кирилл in Scrapy
Тебе для одного итема нужно спарсить несколько страниц?
источник
18:34пожаловаться#1

N

Nick Name in Scrapy
Кирилл
Тебе для одного итема нужно спарсить несколько страниц?
да, и там ещё возможен бесконечный цикл так скажем
источник
18:35пожаловаться#2

К

Кирилл in Scrapy
Тогда раньше пайплайнов проверяй. Количество запросов на первом месте по приоритету.
источник
18:38пожаловаться#3

К

Кирилл in Scrapy
Но дубли в запросах и так фильтруются
источник
18:40пожаловаться#4

N

Nick Name in Scrapy
Кирилл
Но дубли в запросах и так фильтруются
у меня выключен dupe_filter, так что да)
значит пайплайны не юзать. ладно, спасибо)
источник
18:43пожаловаться#5

К

Кирилл in Scrapy
Ты его выключил, и пытаешься сделать, то что он делает?
источник
18:44пожаловаться#6

A

Andrii in Scrapy
giphy.mp4
(133.06 Кб)
источник
18:44пожаловаться#7

TA

Trafik Apostle in Scrapy
Ребят помните я у вас сегодня спрашивал советы.Я справился сделал проект.
источник
19:37пожаловаться#8

TA

Trafik Apostle in Scrapy
всё таки я не тупой.
источник
19:38пожаловаться#9

S

SoHard 🎄 in Scrapy
Trafik Apostle
Ребят помните я у вас сегодня спрашивал советы.Я справился сделал проект.
так там же написано что отклонили ставку
источник
19:51пожаловаться#10

S

SoHard 🎄 in Scrapy
или он передумал?
источник
19:51пожаловаться#11

S

SoHard 🎄 in Scrapy
или ты передумал?)
источник
19:51пожаловаться#12

A

Andrii in Scrapy
Может просто сделал)
источник
19:57пожаловаться#13

A

Andrii in Scrapy
В тепер все еще сделай на скрапи :)
источник
19:59пожаловаться#14

TA

Trafik Apostle in Scrapy
ставку не он отклонил ,а сервис я какое-то правило нарушил .а заказчик даже в сеть не заходил ,но у меня с ним переписка где он у меня спрашивает готов?(сокрашенно)
источник
20:00пожаловаться#15

SS

Stanislav Sagan in Scrapy
Здравствуйте, а pipeline только для того чтоб делать DropItem и записывать в бд/файл данные?
Больше никакого функционала?
источник
20:10пожаловаться#16

К

Кирилл in Scrapy
Stanislav Sagan
Здравствуйте, а pipeline только для того чтоб делать DropItem и записывать в бд/файл данные?
Больше никакого функционала?
Любой функционал пока он касается итемов
источник
20:12пожаловаться#17

SS

Stanislav Sagan in Scrapy
Кирилл
Любой функционал пока он касается итемов
Ага, примерно понял) Валидация, чистка, запись, спасибо)))
источник
20:15пожаловаться#18

N

Nick Name in Scrapy
Кирилл
Ты его выключил, и пытаешься сделать, то что он делает?
парсю номера OLX. там при запросе на номер может выдать номер 000 000 000, который неверен. я отследил и понял, что если делать запросы дальше, то рано или поздно я получу норм номер. поэтому я и отключил дюп фильтр
источник
20:24пожаловаться#19

К

Кирилл in Scrapy
Можно указать для запроса dont_filter=True. И еще можно наследоваться от базового фильтра, добавив свой функционал
источник
20:25пожаловаться#20