AR
Но он же и так останавливается?
Size: a a a
2020 August 15
JW
просто есть другой паук, там старт реквест, данные из бд берет, как без инита тогда?
К
так как тогда паука остановить если в ините тебе что то не понравилось?
Убрать из инита. Ещё можно закрывать паука через crawler.engine.close_spider(spider)
МС
просто есть другой паук, там старт реквест, данные из бд берет, как без инита тогда?
поставь получение ссылок на spider_idle (или как оно там), будет чуть медленнее, но чище, наверное :)
JW
а это еще как, озадачили вы меня
AR
Убрать из инита. Ещё можно закрывать паука через crawler.engine.close_spider(spider)
Вроде тоже будет не очень
AR
Ну либо ссылки в коде страницы уже есть, либо джсом получаются, от этого плясать
К
Есть страница, в которой прогружаются изображения lazy load, они грузятся, только когда до них прокручивают, пытаюсь получить их src получаю вместо ссылки. Как это решить?
data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7
Так, а что тебе нужно? Этот код и есть изображение, сохраняй и декодируй https://base64.guru/converter/decode/image
S
Так, а что тебе нужно? Этот код и есть изображение, сохраняй и декодируй https://base64.guru/converter/decode/image
это заглушка 1х1 пиксель
ИБ
Есть страница, в которой прогружаются изображения lazy load, они грузятся, только когда до них прокручивают, пытаюсь получить их src получаю вместо ссылки. Как это решить?
data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7
Ещё помогает иногда загрузить страницу с запретом js и на ней искать изображения. Бывает гораздо проще понять что в исходном коде, а что js уже генерит.
e