кто-нибудь chompjs под виндой ставил? чет оно плачет на error: Microsoft Visual C++ 14.0 is required. Get it with "Build Tools for Visual Studio": https://visualstudio.microsoft.com/downloads/
 ----------------------------------------
 ERROR: Failed building wheel for chompjs

а при этом visual studio build tools у меня в системе стоят вроде, странно

попробуй на версии питона 3.7 это сделать

у меня с lxml на 3.8 вечно такие проблемы

решил json из js вытаскивать, так он там  с одинарными ковычками, и json.loads (ну, верней orjson) плачет что не валидный json, я конечно их тупозаменой заменил на двойные, но что если там какие-нибудь эффекты экранирования возникнут(

думал попробовать этот chompjs по рекомендациям - фиг

нет, на 3.7.2 тоже не хочет ставится. lxml кстати с whl ставится. а как на нем к примеру компиляцию протестить?

ну типа это у меня трабла или в этом чомпе...

даблин везде вилы wheels, дожили нечего скомпилять через pip )

demjson попробуй

а вообще конда

если оно написало Building wheel for demjson (setup.py) ... done
это же значит что оно его сбилдило?
https://i.imgur.com/PngzBK6.png

да

и даже установило

Коллеги, подскажите пожалуйста:

в случае использования Scrapy Cloud, понятно что out of the box данные хрянатся в  Scrapy Cloud и их можно скачать скажем в формате CSV.

Вопрос: как складировать данные в базу в случае скраперов запускаемых по расписанию в Scrapy Cloud ?

Предположительный ответ: использовать API для получения данных в JSON формате и самостоятельно класть в базу. Насколько я понимаю это единственно возможный по сути вариант как забирать дланные из  Scrapy Cloud и класть в базу. Верно?

о, я обновил build tools с 14.25 до 14.26. щас ошибка другая.
C:\Users\i\miniconda3\envs\yu\include\pyconfig.h(59): fatal error C1083: ЌҐ г¤ Ґвбп ®вЄалвм д ©« ўЄ«о祭ЁҐ: io.h: No such file or directory,
 error: command 'C:\\Program Files (x86)\\Microsoft Visual Studio\\2019\\Community\\VC\\Tools\\MSVC\\14.26.28801\\bin\\HostX86\\x64\\cl.exe' failed with exit status 2

выгружать данные пайплайном куда-нибудь, оттуда забирать и класть в базу

О, так там еще и бесплатный тариф есть

Спасибо большое!
re "Выгружать данные пайплайном куда-нибудь"

Например куда?

s3