Телеграмм чат группы scrapy_python страница 2383

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

810 membersпожаловаться на группу

2021 January 29

OS

Oleg Shleiko in Scrapy

Мой стек:
- билдится контейнер и запускает супервизор как демон и скрапид как не демон
- супервизор держит воркера, который в зависимости от задач через скрапид запускает пауков
У меня нет деплоя, может он и нужен но я не понимаю...((

источник

12:36пожаловаться #1

К

Кирилл in Scrapy

У меня основной затуп в том что на примерах все говорят как развернуть scrapyd в контейнер, но не показывают связи с spider. А поскольку scrapyd настраивает зависимости через scrapyd-deploy, сложно понять как связвать 2 контейнера

Насколько помню, scrapyd-deploy просто делает яйцо и пихает в api скрапид. Два контейнера не нужны. Или привяжи порт контейнера к локалхосту и вызывай деплой снаружи. Или закинь код проекта в контейнер (или через копию или через раздел) и изнутри точно так же вызывай деплой

источник

12:38пожаловаться #2

M

Насколько помню, scrapyd-deploy просто делает яйцо и пихает в api скрапид. Два контейнера не нужны. Или привяжи порт контейнера к локалхосту и вызывай деплой снаружи. Или закинь код проекта в контейнер (или через копию или через раздел) и изнутри точно так же вызывай деплой

Вот склоняюсь больше ко 2му варианту, хотел услышать мнение со стороны

источник

12:39пожаловаться #3

К

Кирилл in Scrapy

Мой стек:
- билдится контейнер и запускает супервизор как демон и скрапид как не демон
- супервизор держит воркера, который в зависимости от задач через скрапид запускает пауков
У меня нет деплоя, может он и нужен но я не понимаю...((

Что за воркер ?

источник

12:41пожаловаться #4

OS

Oleg Shleiko in Scrapy

Что за воркер ?

Бесконечный процесс через while True

источник

13:01пожаловаться #5

A

Archie in Scrapy

источник

17:52пожаловаться #6

A

Archie in Scrapy

в чем проблема?

источник

17:52пожаловаться #7

AR

Andrey Rahmatullin in Scrapy

код кривой

источник

17:54пожаловаться #8

A

Archie in Scrapy

ну я вкурсе, там костили
загуглил пишет что ставить в True в скрапи реквест, но у меня его нет)

источник

17:56пожаловаться #9

AR

Andrey Rahmatullin in Scrapy

тогда в чём вопрос

источник

17:57пожаловаться #10

A

Archie in Scrapy

ну ошибка вылетает...

источник

17:57пожаловаться #11

AR

Andrey Rahmatullin in Scrapy

код кривой

источник

17:57пожаловаться #12

S

SoHard 🎄 in Scrapy

ну ошибка вылетает...

источник

17:58пожаловаться #13

S

SoHard 🎄 in Scrapy

тут 3 строчки трейсбэка

источник

17:58пожаловаться #14

S

SoHard 🎄 in Scrapy

дело для ванги

источник

17:58пожаловаться #15

i

в чем проблема?

более толстый намек - покажи код. и весь стектрейс если ты его обрезал

источник

19:42пожаловаться #16

i

А вообще так, к слову, обычно в стектрейсе надо искать свой код. Обычно проблема сосредоточена там.

источник

19:44пожаловаться #17

H

Harsh in Scrapy

Hello, is there english group?

источник

21:08пожаловаться #18

К

Кирилл in Scrapy

Hello, is there english group?

There is on Reddit, but not in telegram. You can try to ask here also

источник

21:09пожаловаться #19

H

Harsh in Scrapy

There is on Reddit, but not in telegram. You can try to ask here also

Thanks sir. :)

источник

21:10пожаловаться #20