Телеграмм чат группы scrapy

Михаил Синегубов

ээээ
12 лет это точно, может больше
и да, 6 гб именно на делфях и юзал

фига себе опыта...

Михаил Синегубов... in Scrapy

12:14пожаловаться #1

МС

🙃, это то, что я нашел, ибо проектик до сих пор использую на работе
возник по причине очередного приступа лени.
а то что раньше было.... так то я уже и не вспомню....
UPD: И да, я еще тот старый пердун 😂

12:15пожаловаться #2

Посоветуйте прокси для инсты, уже в паре сервисов купил всё изначально в блоке висят. Или мобильные

12:17пожаловаться #3

Ravi Chavare in Scrapy

Twisted.python.failure.twisted.internet.error.connectionDone

I am facing this and I am not able to find out root cause of this problem

12:17пожаловаться #4

Кирилл

Посоветуйте прокси для инсты, уже в паре сервисов купил всё изначально в блоке висят. Или мобильные

Ради интереса и теста попробуй нашего проекта

12:20пожаловаться #5

https://parserdata.ru/free-proxy/

12:20пожаловаться #6

очень скептически отношусь к фришным, но ок

12:21пожаловаться #7

Это мы торовские подняли через privoxy

12:21пожаловаться #8

Я через них Яндекс Маркет маслаю

Ради интереса и теста попробуй нашего проекта

увы, сразу редиректы

12:26пожаловаться #10

Жаль((

Михаил Синегубов... in Scrapy

12:26пожаловаться #11

МС

Кирилл

увы, сразу редиректы

ты proxys.io пробовал?

12:26пожаловаться #12

вообще тор ноды почти все забанены, странно что ты яндекс можешь парсить с них

12:27пожаловаться #13

Мы на рабочем проекте ещё proxy.am ипользуем, они не серверные
а серверные у нас billing.proxyelite.ru и infatica.io

12:28пожаловаться #14

Михаил Синегубов

ты proxys.io пробовал?

там через яндекс оплата, я что-то вчера пробовал и на другой отвлекся когда увидел

12:29пожаловаться #15

Кирилл

вообще тор ноды почти все забанены, странно что ты яндекс можешь парсить с них

а что у меня должно быть? Вообще яндекс пускать не должен или капча?

12:33пожаловаться #16

Михаил Синегубов

ты proxys.io пробовал?

тут хотя бы экспорт есть, я в одном купил пару штук, так там ручками нужно копировать, а логин и пароль в попапе)

12:33пожаловаться #17

я с яндексом не работал) просто почти все крупные сайты которые банят, вкурсе про тор, как минимум куча людей пытается потому что это фришно

12:34пожаловаться #18

Понял, ну значит нам повезло)

12:35пожаловаться #19

Stepan Smirnov in Scrapy

Oleg Shleiko

Кстати, раз уж на оффтопе, есть норм либа на питоняге что б под винду приложение сделать, и на сколько тупо или наоборот использовать питон для обработки большого количества данных?

на питоне много библиотек для работы с большими данными.