Телеграмм чат группы scrapy

Вон вообще ласты заворачивает :D

14:23пожаловаться #1

МС

хм, по слухам он не быстрый, я бы попробовал Peewee, а еще лучше, на чистом SQL, если скорость важна
а индексы, надо мониторить что там алхимия генерит (какие SQL запросы) и дебажить из.

Кстати status='await' - индекс по строке, так себе идея. Заводи SmallInt, а то и Byteи их индексируй

14:24пожаловаться #2

МС

и запись не показал, там вообще какая то жопа, по ходу

14:24пожаловаться #3

МС

кстати

raise DontCloseCpider

вынеси из цикла, нафига тебе генерить кучу исключений

К

хм, по слухам он не быстрый, я бы попробовал Peewee, а еще лучше, на чистом SQL, если скорость важна
а индексы, надо мониторить что там алхимия генерит (какие SQL запросы) и дебажить из.

Кстати status='await' - индекс по строке, так себе идея. Заводи SmallInt, а то и Byteи их индексируй

Пиви в асинхроне неочень

14:32пожаловаться #5

МС

Кирилл

Пиви в асинхроне неочень

ну, иногда и асинхрон нафиг не нужен...

14:33пожаловаться #6

МС

опять же, меня никто не убедит, что на десятках млн записях ORM будет шустрее натива :)

14:34пожаловаться #7

К

Кирилл in Scrapy

Если долго работать с ОРМ и знать все её повадки и как оно что генерит, то норм будет, конечно не для супер нагруженных приложений, но для обычных задач точно. А так, да нужно проверять какие запросы оно там генерит

14:35пожаловаться #8

МС

а, ну и индексы. Удавалось "отладить" чистый SQL с 10-15 секунд до 0,1-0,5 секунд.
"всего то" перепутанный порядок индекса + одно поле "забыли" добавить 😁

upd: и это время выполнения единичного запроса

П

кстати

raise DontCloseCpider

вынеси из цикла, нафига тебе генерить кучу исключений

Разобрался вроде. Проблема была в этом. Ну и прокси медленный попался. Ну и индекс на статусе не стоял, плюс сделал SmallInteger, вроде гоняет. Спасибо!

14:42пожаловаться #10

МС

Пастырь

Разобрался вроде. Проблема была в этом. Ну и прокси медленный попался. Ну и индекс на статусе не стоял, плюс сделал SmallInteger, вроде гоняет. Спасибо!

сейчас какая скорость?

14:43пожаловаться #11

П

1200 страниц в минуту

14:43пожаловаться #12

П

14:43пожаловаться #13

МС

вполне норм. В принципе, хотелось бы больше... но и прирост в 20 раз - ниче так 😂

14:44пожаловаться #14

П

Я сейчас на сервер закину его. Там думаю быстрее будет

14:44пожаловаться #15

МС

кстати, пиво на таблице в сотни тыс записей спокойно делает "insert replace" со скоростью до ~3-14 тыс в минуту.
не скажу, что это меня устраивает, но всеж
хз, почему такой разброс - там проект подвисший, лениво разбираться :)

14:48пожаловаться #16

V

Victor in Scrapy

Все привет. По фрилансу тут можно спрашивать!? Мне нужно с сайта спарсить инфу. Кто может помочь написать скрапер?

18:43пожаловаться #17

К

Кирилл in Scrapy

Victor

Все привет. По фрилансу тут можно спрашивать!? Мне нужно с сайта спарсить инфу. Кто может помочь написать скрапер?

@scrapy_jobs

18:43пожаловаться #18

V

Victor in Scrapy

спс

Антон Магурский... in Scrapy

18:44пожаловаться #19

2021 February 14

АМ

комрады, приветствую! подскажите, я что глюк в селёниуме нашёл? вот простой файлик, с 4 тестами на клик двух кнопок. первый элемент в начале страницы находится, второй - похожий на него, чуть пониже. однако, через селениум кликается только 1 из четырёх, или иногда 2 из четырёх. есть ещё такой глюк - если менять местами xpath и css_selector, только первый срабатывает.
тесты запускал на линухе через pytest
https://pastebin.com/z09Z4gZj