Телеграмм чат группы scrapy

Size: a a a

Scrapy

2020 June 25

МС

https://stackoverflow.com/questions/46339263/scrapy-get-start-urls-from-database-by-pipeline
https://stackoverflow.com/questions/20118753/python-scrapy-populate-start-urls-from-mysql
https://stackoverflow.com/questions/38658491/scrapy-generate-url-from-database

у меня буквально первые несколько ссылок из поиске

источник

17:42пожаловаться #1

МС

Михаил Синегубов... in Scrapy

решения, может, не сильно красивые, но, на первое время хватит

источник

17:43пожаловаться #2

Andrey Rahmatullin in Scrapy

Archie

а как мне теперь во второй спайдер передавать все урлы, с item или с файла csv где я их сохраняю?

нормальное решение - читать в start_requests файл

источник

17:57пожаловаться #3

Archie in Scrapy

Andrey Rahmatullin

нормальное решение - читать в start_requests файл

https://gist.github.com/bcambel/2622001

Gist

Generating URLs to crawl from outside a Scrapy spider

Generating URLs to crawl from outside a Scrapy spider - gist:2622001

источник

18:02пожаловаться #4

Archie in Scrapy

оно?

источник

18:02пожаловаться #5

Andrey Rahmatullin in Scrapy

нет

источник

18:07пожаловаться #6

2020 June 26

Andrii in Scrapy

А скрапи теперь из коробки респонс джейсон может конвертировать?

источник

00:12пожаловаться #7

Archie in Scrapy

Andrii

А скрапи теперь из коробки респонс джейсон может конвертировать?

источник

00:13пожаловаться #8

Andrii in Scrapy

вопрос, есть у меня data_json['data']['list'][0]['slug'] можно ли достать все значения slug из [0],[1],[2],... без итерации?

источник

00:39пожаловаться #9

Archie in Scrapy

Andrii

вопрос, есть у меня data_json['data']['list'][0]['slug'] можно ли достать все значения slug из [0],[1],[2],... без итерации?

нет

источник

00:48пожаловаться #10

Andrii in Scrapy

спс, еще вопрос, можно ли посчитать количество [0],[1],[2] без итерации?

источник

00:49пожаловаться #11

Andrii in Scrapy

или там узнать число последней?

источник

00:49пожаловаться #12

Archie in Scrapy

Andrii

спс, еще вопрос, можно ли посчитать количество [0],[1],[2] без итерации?

 len( data_json['data']['list'])

источник

00:59пожаловаться #13

Archie in Scrapy

Andrii

или там узнать число последней?

если ты пытаешся парсить через скрытый апи то тебе должно быть указано некоторые полезные атрибуты страницы, в том числе и сколько айтемов осталось

источник

01:01пожаловаться #14

Andrii in Scrapy

в апи то сам могу установить количество айтемов для показа, поставил 32к, немного сервак тормознул)

источник

01:02пожаловаться #15

Andrii in Scrapy

а везде итерацию переписовать не охота

источник

01:02пожаловаться #16

Archie in Scrapy

я про типо чтото этого

источник

01:03пожаловаться #17

Archie in Scrapy

так ты можешь узнать когда конец и т.д

источник

01:03пожаловаться #18

Archie in Scrapy

Andrii

в апи то сам могу установить количество айтемов для показа, поставил 32к, немного сервак тормознул)

попробуй поставь на того паучка который тормозит сервак download_delay = 1.5

источник

01:04пожаловаться #19

Archie in Scrapy

будет не такая жеская нагрузка на сервер

источник

01:05пожаловаться #20