ПА
После программ типа Датакол или CD с трудом даётся Python и Scrapy )
Size: a a a
2020 May 24
МС
когдя у меня файл получится в несколько тыс колонок, мне вежливо попросили "разбей, плз, на разделы..."
EB
ну после CD то, что я описал должно быть очень понятно, там такой костыль и юзается
МС
После программ типа Датакол или CD с трудом даётся Python и Scrapy )
просто не пытайся сделать ВСЕ одним "движением". Тут примитивно все делается постобработкой
ПА
просто не пытайся сделать ВСЕ одним "движением". Тут примитивно все делается постобработкой
А есть уже созданный паук? Для примера.
МС
А есть уже созданный паук? Для примера.
разбрасывание по колонкам?
ПА
Да
ПА
Уже смотрел ) но мне проще на примере.
EB
пример — scrapy crawl spider -o out.jl
ююю
B
custom_settings = {
'FEED_EXPORT_FIELDS': ["text", "author1"]
}нужно динамически переопредилять
https://doc.scrapy.org/en/latest/topics/feed-exports.html#feed-export-fields
МС
МС
custom_settings = {
'FEED_EXPORT_FIELDS': ["text", "author1"]
}нужно динамически переопредилять
https://doc.scrapy.org/en/latest/topics/feed-exports.html#feed-export-fields
дядь, у тебя от несколько сотен параметров, наименования параметров не известны - как ты "переопределишь"?
EB
мазохисты
B
а можешь выложить через https://gist.github.com
A
а можешь выложить через https://gist.github.com
Включи впн)
A
A
Или так держи
ПА
Жесть ) Называется всё легко и просто )
EB
зачем впн?