В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

511 membersпожаловаться на группу
2020 June 30

AR

Andrey Rahmatullin in Scrapy
🇺🇦 Ad Libitum
Покажите, пожалуйста, простой пример того, как мне вызвать в скрипте дочернюю задачу, что-то я запутался. Например, я собрал со страницы оглавления все ссылки на года. Теперь  я хочу по каждой этой ссылке пройтись и выдернуть ссылки на месяцы. В них - на дни. И потом всё это содрать
https://docs.scrapy.org/en/latest/intro/tutorial.html
источник
11:47пожаловаться#1

i

ildar in Scrapy
Иван Батурин
как вариант вот так https://pastebin.com/BS78HcFR
Pastebin
[Python]
def parse(self, response):          urls = response.css('a.catalog-block::attr( - Pastebin.com
if urls там кстати не надо, оно и так не пойдет внутрь если они пустыми будут
источник
12:32пожаловаться#2

АА

Артем Астафьев... in Scrapy
def parse(self, response):
    self.log("title: %s" % response.xpath('//*[@itemprop="name"][1]/text()').extract())
для чего используется метод log()? в документации не нашел об этом, через гугл тоже
источник
14:57пожаловаться#3

К

Кирилл in Scrapy
для того чтоб оставлять сообщение в логе
источник
14:58пожаловаться#4

AR

Andrey Rahmatullin in Scrapy
Артем Астафьев
def parse(self, response):
    self.log("title: %s" % response.xpath('//*[@itemprop="name"][1]/text()').extract())
для чего используется метод log()? в документации не нашел об этом, через гугл тоже
да ладно? https://docs.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.Spider.log
источник
15:02пожаловаться#5

АА

Артем Астафьев... in Scrapy
oh shit
источник
15:03пожаловаться#6

АА

Артем Астафьев... in Scrapy
im sorry
источник
15:03пожаловаться#7

А

Александр in Scrapy
Привет всем!
Кто сталкивался с защитой PerimeterX?
источник
23:44пожаловаться#8

А

Александр in Scrapy
Эта лютая штука конкретно делает мне мозг, если у кого то есть решение, готов хорошо заплатить
источник
23:45пожаловаться#9

А

Александр in Scrapy
Палит на изи селениум, 50/50 палит зеннопостер
источник
23:45пожаловаться#10
2020 July 01

✏d

✏️ Oleksandr dntPani... in Scrapy
нужна помощь, настройка хранилища амазон под скрапи.
вместо амазона сохраняет локально
кто работал с настройками на амазон - и может помочь - буду благодарен.
источник
11:11пожаловаться#11

МС

Михаил Синегубов... in Scrapy
https://docs.scrapy.org/en/latest/topics/feed-exports.html#s3
https://stackoverflow.com/questions/38788096/how-to-upload-crawled-data-from-scrapy-to-amazon-s3-as-csv-or-json
источник
11:26пожаловаться#12

МС

Михаил Синегубов... in Scrapy
оно?
источник
11:26пожаловаться#13

✏d

✏️ Oleksandr dntPani... in Scrapy
наверно, я доки читал, просто наверно не так настроил
источник
11:27пожаловаться#14

✏d

✏️ Oleksandr dntPani... in Scrapy
в стаковерфло настройки отличаются в ряде ответов. Вообще не врубаюсь, ка правильно его настроить.
источник
11:30пожаловаться#15

SS

Stepan Smirnov in Scrapy
вопрос по управлению и поддержке большого количества пауков (тестирование, логирование, вызов пауков по расписанию, уведомления и чтобы можно было скейлить мощности без проблем). Если я правильно понимаю, scrapydweb не позволяет подключать сразу много серверов к процессу. Scrapy Cloud стоит дорого. Какое решение стоит использовать для этой задачи? Что то вроде Scrapy-Cluster?
источник
11:54пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
тестирование, логирование, уведомления это всё вроде отдельно от запуска и расписаний должно быть
источник
12:45пожаловаться#17

SS

Stepan Smirnov in Scrapy
Да, наверное. Интересует именно запуск по расписанию и возможность увеличение мощностей за счет подключения новых серверов на время работы. Ну и чтобы тестирование и уведомления можно было без особых проблем подключить.
источник
12:53пожаловаться#18

i

ildar in Scrapy
Stepan Smirnov
вопрос по управлению и поддержке большого количества пауков (тестирование, логирование, вызов пауков по расписанию, уведомления и чтобы можно было скейлить мощности без проблем). Если я правильно понимаю, scrapydweb не позволяет подключать сразу много серверов к процессу. Scrapy Cloud стоит дорого. Какое решение стоит использовать для этой задачи? Что то вроде Scrapy-Cluster?
Что имеется в виду под невозможностью подключить несколько серверов? Там же прямо в доках пишут Web app for Scrapyd cluster management
источник
16:13пожаловаться#19

i

ildar in Scrapy
https://github.com/my8100/files/blob/master/scrapydweb/README.md
GitHub
my8100/files
Docs and files for ScrapydWeb, Scrapyd, Scrapy, and other projects - my8100/files
источник
16:13пожаловаться#20