В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

517 membersпожаловаться на группу
2020 July 05

A

Archie in Scrapy
izzz zzi
а если у тебя будет 2-5кк записей на выборке скорость не упадет?)
он проверяет и выбрасывает исключение , всмысле не будет парсить а пропускает
источник
18:17пожаловаться#1

iz

izzz zzi in Scrapy
Archie
он проверяет и выбрасывает исключение , всмысле не будет парсить а пропускает
ну я понимаю, но если у тебя будет 5кк записей, сколько он будет искать есть ли этот item
источник
18:17пожаловаться#2

A

Archie in Scrapy
вернее не будет ставить в хранилище (база/csv file)
источник
18:17пожаловаться#3

SS

Stepan Smirnov in Scrapy
Archie
чтото типо этого
а exist_article как проверку проводит? Какая сложность у алгоритма проверки то есть.
источник
18:18пожаловаться#4

A

Archie in Scrapy
izzz zzi
ну я понимаю, но если у тебя будет 5кк записей, сколько он будет искать есть ли этот item
я парсил множетсво статей на сайте, вроди все ок сразу делал
источник
18:19пожаловаться#5

И

Илья in Scrapy
я думаю если это есть в функционале скрапи, то это работает с максимальной скоростью
источник
18:19пожаловаться#6

A

Archie in Scrapy
Илья
я думаю если это есть в функционале скрапи, то это работает с максимальной скоростью
+
источник
18:19пожаловаться#7

iz

izzz zzi in Scrapy
Илья
я думаю если это есть в функционале скрапи, то это работает с максимальной скоростью
функцианал скрапи это парсинг, выборку он делает через orm
источник
18:20пожаловаться#8

И

Илья in Scrapy
я плохо еще отличаю орм от коннекторов
источник
18:20пожаловаться#9

A

Archie in Scrapy
Илья
вопрос, if exists_article is not None: != if exists_article:
я ж беру из базы данных, если нету такого , то она возвращает None , у всех бд так встроено
источник
18:21пожаловаться#10

К

Кирилл in Scrapy
izzz zzi
ну я понимаю, но если у тебя будет 5кк записей, сколько он будет искать есть ли этот item
Слишком сложные вопросы)
источник
18:22пожаловаться#11

И

Илья in Scrapy
Archie
я ж беру из базы данных, если нету такого , то она возвращает None , у всех бд так встроено
None = False или я неправ ?
источник
18:22пожаловаться#12

iz

izzz zzi in Scrapy
Кирилл
Слишком сложные вопросы)
Ну просто раньше делал так же, но щас отказался от этого решения , вот и спрашиваю людей)
источник
18:22пожаловаться#13

A

Archie in Scrapy
Илья
None = False или я неправ ?
в данном случае True)
источник
18:22пожаловаться#14

И

Илья in Scrapy
izzz zzi
Ну просто раньше делал так же, но щас отказался от этого решения , вот и спрашиваю людей)
Ваше решение в студию
источник
18:23пожаловаться#15

И

Илья in Scrapy
Archie
в данном случае True)
можешь целиком своих пауков показать ?
источник
18:23пожаловаться#16

iz

izzz zzi in Scrapy
1)Ну если все пишется в 1 базу и у тебя 100+ пауков, то каждый паук будет делать конект когда собирает, это уже 100+ конектов, а если их под 500 будет то что?
источник
18:24пожаловаться#17

A

Archie in Scrapy
в этом проекте у меня только один паук
источник
18:24пожаловаться#18

iz

izzz zzi in Scrapy
2)Опять же если у тебя 100+ пауков и в базе 10кк+ запишей выборка будет не особо быстрая
источник
18:24пожаловаться#19

И

Илья in Scrapy
Archie
в этом проекте у меня только один паук
я имею ввиду паука со всей его инфраструктурой итемами пайплайнами сетингс и т . .д
источник
18:25пожаловаться#20