Size: a a a

2020 June 09

D

Dr. Bot in Scrapy
а sqlite не надо ничего устанавливать
источник

К

Кирилл in Scrapy
Можешь и в csv писать, но о фильтрах тогда забудь. Сегодня у тебя только post_id, а завтра еще какое-то условие захотят добавить, тогда и начнутся пляски
источник

D

Dr. Bot in Scrapy
Кирилл
Можешь и в csv писать, но о фильтрах тогда забудь. Сегодня у тебя только post_id, а завтра еще какое-то условие захотят добавить, тогда и начнутся пляски
понятно, ещё раз спасибо, пожалуй лучше сразу БД сделаю
источник

К

Кирилл in Scrapy
Или к примеру обновлять значение в файле. Нужно будет тогда строку искать в csv и т.д.
источник

D

Dr. Bot in Scrapy
Кирилл
Или к примеру обновлять значение в файле. Нужно будет тогда строку искать в csv и т.д.
ну если так делать, то база точно проще и быстрее )
источник

АМ

Алексей Мелолян... in Scrapy
добрый вечер. подскажите пожалуйста, почему может останавливаться парсинг, если вроде всё нормально
источник

АМ

Алексей Мелолян... in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
next_url это генератор, его надо итерировать, а не просто вызывать
источник

D

Dr. Bot in Scrapy
там же на оф. сайте прям сразу же в примере
источник

D

Dr. Bot in Scrapy
for next_page in response.css('a.next-posts-link'):
           yield response.follow(next_page, self.parse)
источник

АМ

Алексей Мелолян... in Scrapy
простите, первый раз с таким сталкиваюсь, то есть next_url это вроде как массив данных и мне нужно yield элемента массива и коллбек?
источник

К

Кирилл in Scrapy
Попробуй
yield from self.next_url()
источник

AR

Andrey Rahmatullin in Scrapy
Алексей Мелолян
простите, первый раз с таким сталкиваюсь, то есть next_url это вроде как массив данных и мне нужно yield элемента массива и коллбек?
источник

АМ

Алексей Мелолян... in Scrapy
Кирилл
Попробуй
yield from self.next_url()
вроде заработало, спасибо
источник

AR

Andrey Rahmatullin in Scrapy
вообще конечно next_url необязательно быть генератором, реквест можно и вернуть (но результат его выхова в любом случае игнорировать нельзя)
источник

АМ

Алексей Мелолян... in Scrapy
да, с генераторами я не разобрался пока, спасибо, буду изучать
источник

AR

Andrey Rahmatullin in Scrapy
впрочем ему и отдельной функцией быть необязательно
источник

AR

Andrey Rahmatullin in Scrapy
Алексей Мелолян
да, с генераторами я не разобрался пока, спасибо, буду изучать
тогда не используй их
источник

AR

Andrey Rahmatullin in Scrapy
что, правда, сложно, т.к. большинство коллбэков это генераторы...
источник

G

Georg in Scrapy
То-есть работать по https не возможно?
источник