S
а из колбэков другие реквесты создавались?
нет, start_urls на главную, а дальше parse с циклом после которого последний метод
Size: a a a
2020 July 17
RC
Any one implemented spalsh within scrapy?
N
привет. детский вопрос, такой же, как и этот, тоесть как мне не записывать дубликаты по урлу например? создавать пайплайн или мидлварь, где будет типа
?
if item['url'] in csv_file:дубликат, обрабатываем
?
AR
только вести сет записанных урлов и проверять его
AR
угу
К
Если ты про момент до запроса, и из айди у тебя формируется url, тогда лучше там отсеять. Если же ты про калбэк и формирование итема, тогда все же лучше в пайплайне, в калбэке выиграшь скорости небольшой, но появится смешанная ответственность. Плюс пайплайн сможешь потом в других проектах использовать
N
Если ты про момент до запроса, и из айди у тебя формируется url, тогда лучше там отсеять. Если же ты про калбэк и формирование итема, тогда все же лучше в пайплайне, в калбэке выиграшь скорости небольшой, но появится смешанная ответственность. Плюс пайплайн сможешь потом в других проектах использовать
хм, так разве не такой флоу как ниже?
пропустим этапы с engine, перейдём к тому моменту, когда ответ попал в паука.
пропустим этапы с engine, перейдём к тому моменту, когда ответ попал в паука.
ответ попал в паука -> переход по колбэкам -> yield item -> бросаем этот item в pipeline'ы -> ...