R
Size: a a a
2021 February 03
AR
AR
на этой странице результаты в хтмл лежат
SS
маленький оффтопик, но ... вчера ScrapingHub стал Zyte. Письмо в почту прислали. Странный ребрендинг ) ...какие-то прям изменения... Scrapy надеюсь не планируют из Open Source забирать ))
А у Zyte теперь основной продукт - это AutoExtract 2.0 с простой интеграцией ETL?
S
А у Zyte теперь основной продукт - это AutoExtract 2.0 с простой интеграцией ETL?
а что это если вкратце?
SS
а что это если вкратце?
"Instantly access news or product data with our patented AI-powered automated extraction web scraping tool.
Give us the URLs. And get quality data right back with no coding."
Give us the URLs. And get quality data right back with no coding."
AR
апи с неонкой внутри
AR
т.е. простите с нейронкой
AR
на входе урл (и деньги), на выходе жсон
AR
если очень вкратце
AR
(угу, нашли выступление и решили а давайте допилим)
AR
что хоть за выступление-то
i
(угу, нашли выступление и решили а давайте допилим)
не не, не нашли, а сами сделали, просто показали сначала краешком на опенсурс, а потом молчок
https://www.youtube.com/watch?v=l11caoD_MFc
https://www.youtube.com/watch?v=l11caoD_MFc
AR
где заговора-то вообще, коммерческая компания
2021 February 04
П
Ребят. Подскажите как правильно сделать. У меня есть база с урлами для паука, каждая запись имеет поля URL, status. Как правильно реализовать, чтобы паук из базы подтягивал, допустим, 100 записей, менял статус на running, а по завершению на complete?
Смотреть в сторону open_spider, close_spider?
Смотреть в сторону open_spider, close_spider?
МС
Ребят. Подскажите как правильно сделать. У меня есть база с урлами для паука, каждая запись имеет поля URL, status. Как правильно реализовать, чтобы паук из базы подтягивал, допустим, 100 записей, менял статус на running, а по завершению на complete?
Смотреть в сторону open_spider, close_spider?
Смотреть в сторону open_spider, close_spider?
для старта:
https://stackoverflow.com/questions/46339263/scrapy-get-start-urls-from-database-by-pipeline
https://stackoverflow.com/questions/38658491/scrapy-generate-url-from-database
в довесок скажу
1. надо скрестить оба метода. Тогда при 10 млн записях можно по 1000 ссылок дергать
2. статус меняешь в пайпе. Можно отдельными айтемом, можно тем же.
ну и, это все не истина последней инстанции. Но у меня такая связка (чуток проработанная) успешно работает на десятках млн записях и норм.
По хорошему, если у тебя сотни тысяч ссылок, то надо либо свой дупфильтр делать, либо отключать его нахрен, если он не актуален. Ибо нахрен все это хранить в мозгах
https://stackoverflow.com/questions/46339263/scrapy-get-start-urls-from-database-by-pipeline
https://stackoverflow.com/questions/38658491/scrapy-generate-url-from-database
в довесок скажу
1. надо скрестить оба метода. Тогда при 10 млн записях можно по 1000 ссылок дергать
2. статус меняешь в пайпе. Можно отдельными айтемом, можно тем же.
ну и, это все не истина последней инстанции. Но у меня такая связка (чуток проработанная) успешно работает на десятках млн записях и норм.
По хорошему, если у тебя сотни тысяч ссылок, то надо либо свой дупфильтр делать, либо отключать его нахрен, если он не актуален. Ибо нахрен все это хранить в мозгах