Телеграмм чат группы scrapy

Народ, такой вопрос - долго обрабатывается html дерево. Если просто парсить страничку и сохранять, а потом после парсинга его обрабатывать, то это раз в 5-10 быстрее чем обрабатывать во время парснга.

источник

15:29пожаловаться #4

V

Victor in Scrapy

В чем может быть проблема?

источник

15:30пожаловаться #5

V

Victor in Scrapy

Какие библиотеки для парсинга html и обработки самые быстрые сейчас на питонии?

источник

15:30пожаловаться #6

AR

Andrey Rahmatullin in Scrapy

Victor

Народ, такой вопрос - долго обрабатывается html дерево. Если просто парсить страничку и сохранять, а потом после парсинга его обрабатывать, то это раз в 5-10 быстрее чем обрабатывать во время парснга.

Что такое обрабатывать?

источник

15:42пожаловаться #7

V

Victor in Scrapy

взять страничку, вырезать оттуда половину и сохранить итог в БД

источник

15:43пожаловаться #8

AR

Andrey Rahmatullin in Scrapy

Victor

Какие библиотеки для парсинга html и обработки самые быстрые сейчас на питонии?

html5lib какой-нибудь, толку только

источник

15:43пожаловаться #9

AR

Andrey Rahmatullin in Scrapy

Victor

взять страничку, вырезать оттуда половину и сохранить итог в БД

Брр

источник

15:43пожаловаться #10

V

Victor in Scrapy

да норм )

источник

15:44пожаловаться #11

AR

Andrey Rahmatullin in Scrapy

Victor

Народ, такой вопрос - долго обрабатывается html дерево. Если просто парсить страничку и сохранять, а потом после парсинга его обрабатывать, то это раз в 5-10 быстрее чем обрабатывать во время парснга.

Я просто не понимаю оба эти варианта

источник

15:54пожаловаться #12

S

SoHard 🎄 in Scrapy

Victor

Какие библиотеки для парсинга html и обработки самые быстрые сейчас на питонии?

если это реально (я же не знаю что тебе надо) регуляркой попробуй)

источник

15:55пожаловаться #13

i

i in Scrapy

Victor

Народ, такой вопрос - долго обрабатывается html дерево. Если просто парсить страничку и сохранять, а потом после парсинга его обрабатывать, то это раз в 5-10 быстрее чем обрабатывать во время парснга.

а чем ты это делаешь сейчас? условно requests+bs4 или requests+регулярка или чем?

источник

16:02пожаловаться #14

V

Victor in Scrapy

scrapy + bs4 -> sqlite медленнее чем scrapy -> sqlite -> bs4 -> sqlite

источник

16:10пожаловаться #15

V

Victor in Scrapy

🙈

источник

16:11пожаловаться #16

К

Кирилл in Scrapy

Шта?

источник

16:11пожаловаться #17

V

Victor in Scrapy

С помощью скрапи обхожу сайт, сохраняют странички в БД. Потом обрабатывают другим скриптом эти странички. И это быстрее намного чем на лету их обрабатывать и потом сохранять.

источник

16:12пожаловаться #18

К

Кирилл in Scrapy

Ты чем-то не тем занимаешься) bs4 тут лишним выглядит

источник

16:13пожаловаться #19

V

Victor in Scrapy

Ну а чем html дерево парсить - удалить скрипты, айфреймы, счетчики и некоторые тэги? Не регулярками же

источник

16:14пожаловаться #20