В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

569 membersпожаловаться на группу
2020 July 30

МС

Михаил Синегубов... in Scrapy
https://github.com/crawlab-team/crawlab/

от это еще, какой то универсальный монстер. Написан на GO, как я понял, жрут и хостит, практически, людого паука.
Скрапи достаточно плотно поддерживает. По крайней мере, в описаниях релизов мелькало периодически
источник
21:50пожаловаться#1

AR

Andrey Rahmatullin in Scrapy
Sergey Sergey
Я когда из внешнего файла запускать пауков пытался у меня какаято проблема с реактором твистера была. Первый раз норм отрабатывал, а на втором уходил в ошибку
потому что в таком случае реактор надо самому менеджить, как и описано в доке
источник
22:13пожаловаться#2

SS

Sergey Sergey in Scrapy
Andrey Rahmatullin
потому что в таком случае реактор надо самому менеджить, как и описано в доке
Ткнешь в линк?
источник
22:13пожаловаться#3

SS

Sergey Sergey in Scrapy
Если не сложно
источник
22:13пожаловаться#4

AR

Andrey Rahmatullin in Scrapy
https://docs.scrapy.org/en/latest/topics/practices.html#run-scrapy-from-a-script
источник
22:14пожаловаться#5

SS

Sergey Sergey in Scrapy
Andrey Rahmatullin
https://docs.scrapy.org/en/latest/topics/practices.html#run-scrapy-from-a-script
Спасибо. Так и делал.
источник
22:17пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
ну и отлично
источник
22:17пожаловаться#7

SS

Sergey Sergey in Scrapy
Andrey Rahmatullin
ну и отлично
Правда, не просто из скрипта, а из джанги. Может изза джанги проблема била...
источник
22:18пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
или потому что взял CrawlerProcess, а до CrawlerRunner не дочитал
источник
22:19пожаловаться#9

SS

Sergey Sergey in Scrapy
Andrey Rahmatullin
или потому что взял CrawlerProcess, а до CrawlerRunner не дочитал
Да там дикие пляски были. В итоге отказался от этой затеи и сделал через scrapyd
источник
22:19пожаловаться#10
2020 July 31

DM

Dima Moiseenko in Scrapy
Andrey Rahmatullin
или потому что взял CrawlerProcess, а до CrawlerRunner не дочитал
Чтобы свободно чувствовать себя со Scrapy нужно бы twisted сначала почитать?
источник
02:00пожаловаться#11

AK

Aleksey Kanashenko in Scrapy
Скажите как бороться с 301 редиректом
источник
02:15пожаловаться#12

S

SoHard 🎄 in Scrapy
Aleksey Kanashenko
Скажите как бороться с 301 редиректом
Смотря куда и из-за чего редирект, у меня часто это нужная страница
источник
04:34пожаловаться#13

AK

Aleksey Kanashenko in Scrapy
А здесь наоборот ненужная
источник
07:11пожаловаться#14

AK

Aleksey Kanashenko in Scrapy
С браузера заходит на обычную страницу, а паука пускает на редирект пустую страницу
источник
07:12пожаловаться#15

AK

Aleksey Kanashenko in Scrapy
Нужная страница https://barnaul.koleso.ru/catalog/tyres/nokian/5029510/5054934/
источник
07:14пожаловаться#16

AK

Aleksey Kanashenko in Scrapy
Отправляет на редирект
источник
07:14пожаловаться#17

AK

Aleksey Kanashenko in Scrapy
https://barnaul.koleso.ru/catalog/tyres/nokian/5029510/5054934/tel-8-8001006878/
barnaul.koleso.ru
Сеть центров КОЛЕСО
Сеть шинных и сервисных центров КОЛЕСО.ру
источник
07:16пожаловаться#18

AK

Aleksey Kanashenko in Scrapy
Пробовал redirect_еnabled, непомогает
источник
07:17пожаловаться#19

МС

Михаил Синегубов... in Scrapy
Aleksey Kanashenko
С браузера заходит на обычную страницу, а паука пускает на редирект пустую страницу
чего то ты недоговариваешь, scrapy shell нормально отдает страницу....
источник
08:39пожаловаться#20