В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

507 membersпожаловаться на группу
2020 June 22

iz

izzz zzi in Scrapy
Alex
я с прокси еще не пробовал
но в 1 поток впринципе норм
Ну в 1 поток я же тогда считал с твоей скоростью
источник
19:13пожаловаться#1

A

Alex in Scrapy
Arzhaan Martan
и сколько напарсил авито? не блочили хоть?
с паузами не блочат
источник
19:13пожаловаться#2

AM

Arzhaan Martan in Scrapy
фигня, ты с этими паузами только и будешь целую вечность ждать
источник
19:13пожаловаться#3

A

Alex in Scrapy
izzz zzi
Ну в 1 поток я же тогда считал с твоей скоростью
если в 10 потоков то будет хорошо
источник
19:13пожаловаться#4

iz

izzz zzi in Scrapy
izzz zzi
7 объявлений в минута ,62м у них активных объявления , то есть ты их будешь собирать +-15 лет?)
.
источник
19:14пожаловаться#5

AM

Arzhaan Martan in Scrapy
хотя от требований конечно будет зависеть
источник
19:14пожаловаться#6

iz

izzz zzi in Scrapy
Alex
если в 10 потоков то будет хорошо
15 лет / 10
источник
19:14пожаловаться#7

A

Alex in Scrapy
с одного айпи чаще не будет
источник
19:14пожаловаться#8

AM

Arzhaan Martan in Scrapy
если для себя парсишь, в принципе пох
источник
19:14пожаловаться#9

A

Alex in Scrapy
много запросов блок
источник
19:14пожаловаться#10

AM

Arzhaan Martan in Scrapy
а для заказчиков, я хз, тебя сразу пошлют за ожидание
источник
19:15пожаловаться#11

A

Alex in Scrapy
от 3 до 5 сек
меньше ставить то блок
источник
19:15пожаловаться#12

A

Alex in Scrapy
для 1 потока скорость меня пока устраивает)
я сравнивал с шаблоном на зенопостере, модный парсер
у него такая же скорость наверно даже чуть медленнее
источник
19:16пожаловаться#13

AM

Arzhaan Martan in Scrapy
бесплатные прокси лучше не брать
источник
19:17пожаловаться#14

A

Alex in Scrapy
Arzhaan Martan
бесплатные прокси лучше не брать
ну естественно)
источник
19:17пожаловаться#15

AM

Arzhaan Martan in Scrapy
тут видишь, бесплатного сыра тоже не бывает, даже если ты очень хорошо разбираешься в scrapy. всё равно будешь жертвовать
источник
19:18пожаловаться#16

D

Dr. Bot in Scrapy
всем добрый вечер, у меня такой вопрос: кто-то делал парсеры для себя, которые реально приносят прямой, регулярный доход?
источник
19:50пожаловаться#17

S

SoHard 🎄 in Scrapy
Dr. Bot
всем добрый вечер, у меня такой вопрос: кто-то делал парсеры для себя, которые реально приносят прямой, регулярный доход?
это как? они тебе биткоины майнить будут?
источник
19:52пожаловаться#18

СТ

Семён Трояновский... in Scrapy
Dr. Bot
всем добрый вечер, у меня такой вопрос: кто-то делал парсеры для себя, которые реально приносят прямой, регулярный доход?
что ты понимаешь под "для себя" и "прямой доход"?
источник
19:58пожаловаться#19

D

Dr. Bot in Scrapy
Семён Трояновский
что ты понимаешь под "для себя" и "прямой доход"?
ну к примеру свой проект. откуда-то идёт сбор данных. люди заходят к тебе на сайт. ищут что-то и ты отдаешь им спарсенный контент. так работают все агрегатторы типа aviasales, или booking, мне интересно делал ли кто-то карманный пет проект. который не требует умных алгоритмов и возможно реазиловать самостоятельно
источник
20:04пожаловаться#20