Телеграмм чат группы scrapy_python страница 1382

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

436 membersпожаловаться на группу

2020 April 14

VB

Vladyslav Babych in Scrapy

лень искать, но айтемы накапливаются в пачку, погда набирается допустим 50, делаем инсерт инто () вальюес (), (), ()

Спасибо

источник

20:52пожаловаться #1

EB

Elisei Badanin in Scrapy

https://stackoverflow.com/questions/29063215/batch-bulk-sql-insert-in-scrapy-pipelines-postgresql

Batch/Bulk SQL insert in Scrapy Pipelines [PostgreSQL]

I am using my own pipeline to store the scrapped items into a PostgreSQL Database, I made an expansion a few days ago and I store the data into a 3 Databases now. So, I want to make the pipeline wh...

источник

20:52пожаловаться #2

EB

Elisei Badanin in Scrapy

https://github.com/ryancerf/scrapy-sqlitem

ryancerf/scrapy-sqlitem

Scrapy extension to write items using sqlalchemy models - ryancerf/scrapy-sqlitem

источник

20:53пожаловаться #3

VB

Vladyslav Babych in Scrapy

https://github.com/IaroslavR/scrapy-mysql-pipeline/blob/master/scrapy_mysql_pipeline/pipeline.py а что думаете по поводу такой реализации?

IaroslavR/scrapy-mysql-pipeline

scrapy mysql pipeline. Contribute to IaroslavR/scrapy-mysql-pipeline development by creating an account on GitHub.

источник

20:55пожаловаться #4

VB

Vladyslav Babych in Scrapy

Я правильно понял, что здесь юзают Твистед что-бы это всё ускорить?

источник

20:57пожаловаться #5

R

Не пойму - я один что ли делаю через модель базы данных? или еще кто юзает такой подход

источник

21:00пожаловаться #6

К

Кирилл in Scrapy

Модель?

источник

21:01пожаловаться #7

R

да

источник

21:01пожаловаться #8

VB

Vladyslav Babych in Scrapy

алхимия?

источник

21:01пожаловаться #9

R

ну я использую алхими.ю

источник

21:01пожаловаться #10

R

а так есть разные же

источник

21:01пожаловаться #11

VB

Vladyslav Babych in Scrapy

Но она же убер медленно работает. Или как ты ускоряешь?

источник

21:02пожаловаться #12

К

Кирилл in Scrapy

Да все нормально работает

источник

21:02пожаловаться #13

R

ну для моих задач нормально

источник

21:02пожаловаться #14

К

Кирилл in Scrapy

Что за убер скорость ты хочешь

источник

21:02пожаловаться #15

VB

Vladyslav Babych in Scrapy

Я косорукий просто

источник

21:02пожаловаться #16

AR

Andrey Rahmatullin in Scrapy

Vladyslav Babych

Я правильно понял, что здесь юзают Твистед что-бы это всё ускорить?

смотря что ты в это понятие вкладываешь

источник

21:03пожаловаться #17

К

Кирилл in Scrapy

Не пойму - я один что ли делаю через модель базы данных? или еще кто юзает такой подход

Не один, но 80% используют код который нарыли на стаковерфлоу, а как люди будут чужие модели переписывать, если они не понимают что происходит

источник

21:04пожаловаться #18

AR

Andrey Rahmatullin in Scrapy

adbapi will do blocking database operations in separate threads, which trigger callbacks in the originating thread when they complete. In the meantime, the original thread can continue doing normal work, like servicing other requests.

источник

21:04пожаловаться #19

AR

Andrey Rahmatullin in Scrapy

обычный deferToThread короче

источник

21:04пожаловаться #20