В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

530 membersпожаловаться на группу
2020 July 06

SS

Stepan Smirnov in Scrapy
а с точки зрения best practices стоит разделять различные операции над страницей (нажатия на клавиши, переход на новые ссылки) на разные функции? Или рекомендуется все в parse() делать?
источник
21:15пожаловаться#1

EB

Elisei Badanin in Scrapy
нажатие на клавиши в parse?
источник
21:16пожаловаться#2

SS

Stepan Smirnov in Scrapy
Elisei Badanin
нажатие на клавиши в parse?
я пока разделяю операции над страницей на разные функции, по логическим блокам
источник
21:18пожаловаться#3

SS

Stepan Smirnov in Scrapy
условно говоря
залогиниться - функция
пагинация - еще функция
продуктовые страницы - еще одна
источник
21:19пожаловаться#4

i

ildar in Scrapy
на функции точно стоит разделять, если они будут использоваться в нескольких местах, чтобы избежать повторения кода
источник
21:19пожаловаться#5

i

ildar in Scrapy
а так к примеру таже пагинация и проход по сбору продуктовых линков обычно в одну функцию хорошо укладываются
источник
21:20пожаловаться#6

i

ildar in Scrapy
типа https://i.imgur.com/F0i9R99.png
источник
21:21пожаловаться#7

EB

Elisei Badanin in Scrapy
Stepan Smirnov
условно говоря
залогиниться - функция
пагинация - еще функция
продуктовые страницы - еще одна
а как это все уместить в одном parse()? это же сложнее, чем просто разные кэлбэки
источник
21:21пожаловаться#8

i

ildar in Scrapy
и зачем бы их еще разделять - непонятно)
источник
21:21пожаловаться#9

A

Andrii in Scrapy
Stepan Smirnov
а с точки зрения best practices стоит разделять различные операции над страницей (нажатия на клавиши, переход на новые ссылки) на разные функции? Или рекомендуется все в parse() делать?
🥺🥺🥺
источник
21:41пожаловаться#10
2020 July 07

PM

Paulo Mota in Scrapy
Helllo
источник
03:22пожаловаться#11
2020 July 08

t

tfhx8 in Scrapy
как то можно сделать так: вызывать метод скрапи или объект, чтобы заходил тоолько по 1 урлу. Тоесть в методе задавать текущий урл и вызывать этот метод с нужным урлом, может есть у кого пример?
источник
00:12пожаловаться#12

S

SoHard 🎄 in Scrapy
подскажите почему скрапи выжрал всю оперативку?
источник
07:39пожаловаться#13

S

SoHard 🎄 in Scrapy
источник
07:39пожаловаться#14

S

SoHard 🎄 in Scrapy
в коде всего один FormRequest в цикле
источник
07:40пожаловаться#15

S

SoHard 🎄 in Scrapy
SoHard 🎄
подскажите почему скрапи выжрал всю оперативку?
вдруг кому поможет, решение
https://stackoverflow.com/questions/39173260/scrapy-performance-improvements-and-memory-consumtion
Stack Overflow
Scrapy performance improvements and memory consumtion
Server
6 GB RAM
4 Cores Intel Xeon 2.60GHz
32 CONCURRENT_REQUESTS
1m URLs in CSV
700 Mbit/s downstream
96% Memory Consumtion
With debug mode on, the scrape stops after around 400 000 urls, most l...
источник
08:02пожаловаться#16

B

Bulatbulat48 in Scrapy
tfhx8
как то можно сделать так: вызывать метод скрапи или объект, чтобы заходил тоолько по 1 урлу. Тоесть в методе задавать текущий урл и вызывать этот метод с нужным урлом, может есть у кого пример?
в максимальную глубину 1?
источник
08:52пожаловаться#17

AR

Andrey Rahmatullin in Scrapy
SoHard 🎄
в коде всего один FormRequest в цикле
А сколько запросов сделано?
источник
08:53пожаловаться#18

S

SoHard 🎄 in Scrapy
Andrey Rahmatullin
А сколько запросов сделано?
та хз, должно быть сделано миллион
источник
08:54пожаловаться#19

B

Bulatbulat48 in Scrapy
CONCURRENT_REQUESTS = 100
REACTOR_THREADPOOL_MAXSIZE = 20

помогли?
источник
08:56пожаловаться#20