А есть у кого мажет материал годный как начать их использовать?

# СТАВИМ PIP
sudo apt install python3-pip


# СТАВИМ Scrapyd
pip3 install scrapyd


# ДЕЛАЕМ ИЗ Scrapyd СИСТЕМНЫЙ СЕРВВИС
sudo nano /lib/systemd/system/scrapyd.service
Вставляем следующие строки в файл:

[Unit]
Description=Scrapyd service
After=network.target

[Service]
WorkingDirectory=/etc/scrapyd
ExecStart=/usr/local/bin/scrapyd

[Install]
WantedBy=multi-user.target

# РАЗРЕШАЕМ СЕРВИС Scrapyd
systemctl enable scrapyd.service


# ЗАПУСКАЕМ СЕРВИС Scrapyd
service scrapy start
(если потребуется конфиг для Scrapyd, то его можно записать в файл /etc/scrapyd/scrapyd.conf)


# СТАВИМ Scrapydweb
pip3 install scrapydweb


# ПЕРВЫЙ ЗАПУСК Scrapydweb
mkdir /etc/scrapydweb
cd /etc/scrapydweb
scrapydweb
(после первого запуска в текущей директории создастся файл настроек scrapydweb_settings_v10.py)


# РЕДАКТИРУЕМ НАСТРОЙКИ Scrapydweb
nano scrapydweb_settings_v10.py

SCRAPYDWEB_BIND = '0.0.0.0' <---- сюда вписываем IP вашего VPS
ENABLE_AUTH = True
USERNAME = 'admin'
PASSWORD = 'admin'

# ДЕЛАЕМ ИЗ Scrapydweb СИСТЕМНЫЙ СЕРВВИС
sudo nano /lib/systemd/system/scrapydweb.service
Вставляем следующие строки в файл:

[Unit]
Description=Scrapydweb service
After=network.target

[Service]
WorkingDirectory=/etc/scrapydweb
ExecStart=/usr/local/bin/scrapydweb

[Install]
WantedBy=multi-user.target

# РАЗРЕШАЕМ СЕРВИС Scrapydweb
systemctl enable scrapydweb.service



# ЗАПУСКАЕМ СЕРВИС Scrapydweb
service scrapy start

После проделанных действий scrapydweb должен быть доступен по адресу: <IP вашего VPS>:5000

всем привет
если кто парсил авито, такой вопрос
у них на сайте в категории пишется скажем 300к обьяв
но на странице 50 обьяв и страниц таких 100
где остальные искать?)