#вопрос требуется открыть страницу авито для того, чтобы спарсить цену. Не смог получить html страницу. Приходит 403 ошибка, что ип заблокирован. Хотя с браузера все грузится норм, ничего не заблокировано. Частых обновлений стр, открытия множества объявлений нет и не будет. Переход происходит по конкретной ссылке ранее вручную добавлено в программу. Прописывал различные headers и referer. Результат один. Тупо не могу получить ни одну html страницу с результатом. Может кто сталкивался и знает как победить эту проблему?

Петр:
через различные онлайн сервисы запускать пробовал . запрос идет от них отправляется , но результат тот же. чего то не хватает , думаю, и сайт выкидывает ошибку

headers-s пробовал различные комбинации

Там защита от парсинга как бы

ну обходят даже от Cloudflare Scrapeshield защиту

Не уверен что данное сообщество направлено на противоправные действия. Поэтому такие вопросы здесь обсуждать не стоит. Это раз, два не заниматься херней. Если та сторона решила защититься, то нефиг их ломать.

Urlib библиотека открывает. Вопрос закрыт

Второе утверждение какое-то странное. Если твою защиту никто не пытался ломать то зачем она вообще нужна, и откуда ты знаешь, что она действительно будет защищять?

Согласен что такие вопросы обсуждать не стоит. Но давать советы по поводу заниматься или нет это личное дело каждого

Она нужна чтобы защищать. Не нужно её ломать чтобы понять это

Если никто не будет ломать (потому-что Артём так сказал) защиту, то зачем она? Это дополнительные ненужные расходы, а бизнесу это не нужно
А если она останется (т.е. всё же послушают тебя) то второй вопрос: как можно быть увереным, что защита сработает если кто-то (не послушает Артёмку) решит первый раз ломануть защиту?
Улавливаешь о чём я?

"Если никто не будет ломать защиту, то зачем она?" — я же уже сказал: "Она нужна чтобы защищать [данные от парсинга]".
Цель «забора» не чтобы его пытались сломать а чтобы преграждать дорогу. Если ты начинаешь его перелазить или ломать — делаешь плохие вещи, а не даёшь смысл его существованию.
"Как можно быть увереным, что защита сработает если кто-то решит первый раз ломануть защиту?" — он тестировщик или что? Не его забота "проверять" рухнет ли «забор» от того что он попытается его сломать

Ребят вы холивар не по делу развели. Давайте ещё обсудим что кто то ножом животы вспарывает, чтобы телефон отобрать, а кто то ножом (скальпелем) животы вспарывает, чтобы жизни спасать. Всё зависит от того как использовать инструмент. Я спросил "как пользоваться" а не "что с ним делать".
Помочь не помогли а важности важности нагнали. Всё впустую.

Мне посоветовать нечего, просто поддержал с тем что обсуждать обход защиты в таком чате не очень.
Можешь попытаться спросить в чате по scrapy (@scrapy_python) (это фреймворк для парсинга. Может чего подскажут, хоть и не про scrapy вопрос)

Благодарю.
Защита направлена на защиту телефонов, чтобы по базам не ходила. А мне нужно было цену сравнить. А тут нужно было просто открыть страницу. Объективно это мелочи, а экономит огромное количество времени. Просто избавился от тупой механической работы. Я пентагон взламывать не планировал

Проблему решил библиотекой urllib

Что лучше?

Не могу определиться

Можно еще в одну строку size = 'full' if call.data == full_description' else 'short'

Первое лучше с точки зрения контроля ситуации

Второе с точки зрения добавления новых сайзов