Телеграмм чат группы scrapy

убунта частенько под подозрением у сайтов

22:39пожаловаться #1

ну я если че через гуглбота

22:39пожаловаться #2

МС

TENG_TECH

ну я если че через гуглбота

либо напиши нормально, либо исправь, я хз что ты написал

22:40пожаловаться #3

через юзер агента googlebot

через юзер агента googlebot

этот костыль не сработает)

22:41пожаловаться #5

SoHard 🎄

этот костыль не сработает)

на локалке пашет

на локалке пашет

я имею ввиду если ты браузером прикинишься оно тоже будет работать

22:42пожаловаться #7

на серваке пишет что не может подключиться к тунелю с ПРОКСИ, финт в том что прокси в проекте нет

22:48пожаловаться #8

МС

TENG_TECH

на серваке пишет что не может подключиться к тунелю с ПРОКСИ, финт в том что прокси в проекте нет

брось сюда, что он написал

22:51пожаловаться #9

(failed 3 times): Could not open CONNECT tunnel with proxy proxy.server:3128 [{'status': 403, 'reason': b'Forbidden'}]

22:52пожаловаться #10

я думаю это ограничения сервера

22:55пожаловаться #11

МС

ммм, а на систему какой проксификатор не ставил случайно?
proxy.server - поищу эту запись в hosts

22:56пожаловаться #12

на двух чистых серверах от разных провайдеров смотрел

22:57пожаловаться #13

хотя если из коробки

22:57пожаловаться #14

даже на трех

22:57пожаловаться #15

надо через scrapyd поробовать

22:59пожаловаться #16

МС

если код не пентагоновская тайна и запуск не заморочанный - брось в личку, у себя на убунте гляну

22:59пожаловаться #17

это не код, надо зедеплоить наверное

23:00пожаловаться #18

я думал так работать будет на сервере

23:00пожаловаться #19

МС

ну, хз. как хочешь