МС
там внизу кнопочка "Add file", и можно сделать хоть 100500 этих блоков ;).
я про создание гиста
я про создание гиста
Size: a a a
2021 February 04
AR
ага
Z
для старта:
https://stackoverflow.com/questions/46339263/scrapy-get-start-urls-from-database-by-pipeline
https://stackoverflow.com/questions/38658491/scrapy-generate-url-from-database
в довесок скажу
1. надо скрестить оба метода. Тогда при 10 млн записях можно по 1000 ссылок дергать
2. статус меняешь в пайпе. Можно отдельными айтемом, можно тем же.
ну и, это все не истина последней инстанции. Но у меня такая связка (чуток проработанная) успешно работает на десятках млн записях и норм.
По хорошему, если у тебя сотни тысяч ссылок, то надо либо свой дупфильтр делать, либо отключать его нахрен, если он не актуален. Ибо нахрен все это хранить в мозгах
https://stackoverflow.com/questions/46339263/scrapy-get-start-urls-from-database-by-pipeline
https://stackoverflow.com/questions/38658491/scrapy-generate-url-from-database
в довесок скажу
1. надо скрестить оба метода. Тогда при 10 млн записях можно по 1000 ссылок дергать
2. статус меняешь в пайпе. Можно отдельными айтемом, можно тем же.
ну и, это все не истина последней инстанции. Но у меня такая связка (чуток проработанная) успешно работает на десятках млн записях и норм.
По хорошему, если у тебя сотни тысяч ссылок, то надо либо свой дупфильтр делать, либо отключать его нахрен, если он не актуален. Ибо нахрен все это хранить в мозгах
блин, спасибо. Искал как сделать доп скрапинг после полного выполнения основного, и наткнулся на:
https://stackoverflow.com/questions/46429331/how-to-perform-one-final-request-in-scrapy-after-all-requests-are-done
Долго не мог понять, в чём проблема)) а я спайдера в from_crawler не возвращал)))
п.с. как я понимаю лучше всё таки
https://stackoverflow.com/questions/46429331/how-to-perform-one-final-request-in-scrapy-after-all-requests-are-done
Долго не мог понять, в чём проблема)) а я спайдера в from_crawler не возвращал)))
п.с. как я понимаю лучше всё таки
engine.crawl использовать, вместо engine.shedule, т.к. первый не только внутри второй вызывает
i
хм, gist, вроде как, именно для кусков кода? без описания
в любом случае, спс. Я как то забыл про него :)
в любом случае, спс. Я как то забыл про него :)
там можно и .md, и вообще они markup поддерживают
МС
угу, Андрей уже пнул в морду лица примером :)
2021 February 05
A
можно где-то в настройках задать на запись в джейсон не добавлять а переписовать?
AR
в джейсон нельзя добавлять.
AR
в JSON lines можно, и настройки для добавления/переписывания в новых скрапи есть
МС
в джейсон нельзя добавлять.
имелось в виду "скрапи, собака, в конец дописывает по умолчанию"
AR
а, ну блин, я до эдита читал
AR
да, есть настройка
BL
Andrii
можно где-то в настройках задать на запись в джейсон не добавлять а переписовать?
еще есть лайфхак, если ничо не путаю можно добавление/перезапись менять через регистр параметра:
-o file
-O file
-o file
-O file
AR
New in version 2.4.0.
overwrite: whether to overwrite the file if it already exists (True) or append to its content (False).
overwrite: whether to overwrite the file if it already exists (True) or append to its content (False).
AR
это не лайфхак :)
МС
вах, шайтанама:
"For example, when using the crawl or runspider commands, you can use the -O option instead of -o to overwrite the output file"
самое смешное, что я это читал уже :))
"For example, when using the crawl or runspider commands, you can use the -O option instead of -o to overwrite the output file"
самое смешное, что я это читал уже :))
OS
вах, шайтанама:
"For example, when using the crawl or runspider commands, you can use the -O option instead of -o to overwrite the output file"
самое смешное, что я это читал уже :))
"For example, when using the crawl or runspider commands, you can use the -O option instead of -o to overwrite the output file"
самое смешное, что я это читал уже :))
Значит мало страдал и забыл)) то что приносит много боли постоянно в голове 🤣
МС
Значит мало страдал и забыл)) то что приносит много боли постоянно в голове 🤣
не, просто в подкорке сидит, что он дописывает :), ну и, не часто надо именно переписывать
мне чаще надо новые файлы создавать для парсинга
мне чаще надо новые файлы создавать для парсинга