Size: a a a

2021 February 01

YG

Yuriy Gumeniu in Scrapy
?
источник

Z

Zack!? in Scrapy
Вот например пайплайн
https://dpaste.org/E4YN
А вот трейс
https://dpaste.org/DUMB
источник

i

i in Scrapy
Zack!?
Всем привет! Получилось у кого scrapy с databases использовать?
интересно, чем оно отличается от dataset
источник

i

i in Scrapy
а, тут походу асинхронщина "из коробки", а dataset+sqlite плачет (но работает) на то, что "вы работаете в мультритредовом окружении"
источник

i

i in Scrapy
Yuriy Gumeniu
Для создания проекта scrapy обязательно необходим Microsoft Visual C++ Build Tools на системе Windows 7 (64)
нет
источник

i

i in Scrapy
он нужен если ты не хочешь поиметь проблем с билдами, а так через анаконду или миниконду под виндой можно его поставить, оно там wheels прекрасно вытянет и ничо компилять не надо будет
источник

YG

Yuriy Gumeniu in Scrapy
Нарыл что спотыкается на Twisted буду искать ответ
источник

i

i in Scrapy
ответ тот же)
источник

YG

Yuriy Gumeniu in Scrapy
Понял анаконду необходимо ставить
источник

i

i in Scrapy
вернее, он относился именно к твистеду ну и там еще lxml иногда рядом пробегает
источник

i

i in Scrapy
лучше миниконду. меньше места сожрет)
источник

i

i in Scrapy
а билдтулс одни тока гига 4 весят, если не 10
источник

Z

Zack!? in Scrapy
i
а, тут походу асинхронщина "из коробки", а dataset+sqlite плачет (но работает) на то, что "вы работаете в мультритредовом окружении"
да, из коробки. В основном в async веб фреймворках используется. Например в fastapi рекомендуют
Правда скоро не актуально будет ибо алхимия асинхронная уже в бете
источник

Z

Zack!? in Scrapy
Boris Litvyakov
вставил в конце вместо yield заливку результата в БД и все
можешь пример пайпа скинуть? мб что-то делаю не так
источник

GG

Gulnur Gunur in Scrapy
Boris Litvyakov
а чо код снесла, покаж
источник

BL

Boris Litvyakov in Scrapy
Zack!?
можешь пример пайпа скинуть? мб что-то делаю не так
да у меня по ходу гораздо проще приложения чем у тебя, я по рабоче-крестьянски и без пайплайна просто вставил в коде коллбека загрузку в БД и все
источник

GG

Gulnur Gunur in Scrapy
перейти по ссылкам  и соскрапить инфу тескт
источник

А

Александр in Scrapy
Кто пишет парсеры?
источник

BL

Boris Litvyakov in Scrapy
Александр
Кто пишет парсеры?
прогеры
источник

А

Александр in Scrapy
Boris Litvyakov
прогеры
Логично
источник