Телеграмм чат группы chatpython страница 2115

2020 December 05

🚲U

Подскажите плиз как разделить это на две линии:

if link_not_in_json(job_link, jobs) and job_title_not_in_stop_words(job_title, stop_words):

источник

04:42пожаловаться #1

🚲U

🚲 Oleh Kopyl UI/UX d... in Python

🚲 Oleh Kopyl UI/UX designer

Подскажите плиз как разделить это на две линии:

if link_not_in_json(job_link, jobs) and job_title_not_in_stop_words(job_title, stop_words):

Подсказали

if all([
    one,
    two,
])

источник

05:18пожаловаться #2

🚲U

🚲 Oleh Kopyl UI/UX d... in Python

Помогите с неймингом.

Есть парсер, который проходится по всем страницам и парсит данные.

Но если пройтись им еще few times, то может еще что-то допарсится (особенности сайта).

Как назвать функцию, которая будет делать такую себе "зачистку" – loop over and over till there is no more new data for 3 consecutive iterations.

источник

05:43пожаловаться #3

🚲U

🚲 Oleh Kopyl UI/UX d... in Python

Придумали вместе с одним парнем из чата

scan_leftover_content

источник

05:48пожаловаться #4

А

Алексей in Python

🚲 Oleh Kopyl UI/UX designer

Помогите с неймингом.

Есть парсер, который проходится по всем страницам и парсит данные.

Но если пройтись им еще few times, то может еще что-то допарсится (особенности сайта).

Как назвать функцию, которая будет делать такую себе "зачистку" – loop over and over till there is no more new data for 3 consecutive iterations.

overscan_clear

источник

07:25пожаловаться #5

А

Алексей in Python

вопрос на засыпку: какой переход по рекламной ссылке, будет защитан за посещение ?

допустим хочу покликать по google ads

или плохо выразился:
мне достаточно в requests добавить user-agent и accept ?

источник

07:27пожаловаться #6

🚲U

🚲 Oleh Kopyl UI/UX d... in Python

Алексей

overscan_clear

Спасибо

источник

07:33пожаловаться #7

🐍

🐍 in Python

Алексей , вашу репутацию увеличил Oleh Kopyl - UI/UX designer & developer.
Текущая: 2

источник

07:33пожаловаться #8

PA

Pavel Aksenov in Python

🚲 Oleh Kopyl UI/UX designer

Подсказали

if all([
    one,
    two,
])

Чем не нравится

if (
    link_not_in_json(job_link, jobs) and
    job_title_not_in_stop_words(job_title, stop_words)
):

в данном случае если link_not_in_json == False, то job_title_not_in_stop_words вычисляться не будет. А в случае с all должны вычислиться обе функции.

источник

09:42пожаловаться #9

🚲U

🚲 Oleh Kopyl UI/UX d... in Python

Pavel Aksenov

Чем не нравится

if (
    link_not_in_json(job_link, jobs) and
    job_title_not_in_stop_words(job_title, stop_words)
):

в данном случае если link_not_in_json == False, то job_title_not_in_stop_words вычисляться не будет. А в случае с all должны вычислиться обе функции.

Забыл про это вообще, спасибо :)

источник

09:45пожаловаться #10

A

Alex in Python

Алексей

вопрос на засыпку: какой переход по рекламной ссылке, будет защитан за посещение ?

допустим хочу покликать по google ads

или плохо выразился:
мне достаточно в requests добавить user-agent и accept ?

Я думаю не достаточно. Почитай вот тут про способы определения ботов https://antoinevastel.com/bot%20detection/2017/08/05/detect-chrome-headless.html

Antoinevastel

Detecting Chrome Headless

This post presents techniques that enables to distinguish a vanilla Chrome browser from a Chrome browser running in headless mode.

источник

09:47пожаловаться #11

🚲U

🚲 Oleh Kopyl UI/UX d... in Python

Alex

Я думаю не достаточно. Почитай вот тут про способы определения ботов https://antoinevastel.com/bot%20detection/2017/08/05/detect-chrome-headless.html

Antoinevastel

Detecting Chrome Headless

This post presents techniques that enables to distinguish a vanilla Chrome browser from a Chrome browser running in headless mode.

О, нунжо будет попробовать эти методы обхода для моего парсера Upwork проектов, а то никак не хочет пропускать меня, скотина

источник

10:06пожаловаться #12

A

Alex in Python

🚲 Oleh Kopyl UI/UX designer

О, нунжо будет попробовать эти методы обхода для моего парсера Upwork проектов, а то никак не хочет пропускать меня, скотина

Headless используешь?

источник

10:07пожаловаться #13

🚲U

🚲 Oleh Kopyl UI/UX d... in Python

Alex

Headless используешь?

Что я только не использовал чтобы обойти

источник

10:07пожаловаться #14

А

Алексей in Python

🚲 Oleh Kopyl UI/UX designer

Что я только не использовал чтобы обойти

селениум ? )

источник

12:41пожаловаться #15

V

Valter in Python

Народ, может у кого был опыт. Написал парсер сайта Авито на requests. Парсит только одну страницу и делает это раз в час. До поры - до времени это работало норм. Сейчас стали банить. Что я только не делал: менял хедеры, менял ip - один хрен. Скрипт запускаю на ПК, а вот если с этого же ПК захожу через браузер - то все норм. Можете подсказать, как обойти блокировку?

источник

12:47пожаловаться #16

А

Алексей in Python

Valter

Народ, может у кого был опыт. Написал парсер сайта Авито на requests. Парсит только одну страницу и делает это раз в час. До поры - до времени это работало норм. Сейчас стали банить. Что я только не делал: менял хедеры, менял ip - один хрен. Скрипт запускаю на ПК, а вот если с этого же ПК захожу через браузер - то все норм. Можете подсказать, как обойти блокировку?

здесь ты только про куки не указал

источник

12:48пожаловаться #17

V

Valter in Python

Алексей

здесь ты только про куки не указал

с куки ничего не делал. Да и как? когда браузер заходит - он же без кук. Их я чистил

источник

12:49пожаловаться #18

А

Алексей in Python

Valter

с куки ничего не делал. Да и как? когда браузер заходит - он же без кук. Их я чистил

вот я первый раз на него зашёл, и это всё у меня прописалось. Вон интересное значение lastViewingTime и sessid

и внизу ещё пара sx, u,v

источник

12:51пожаловаться #19

А

Алексей in Python

не знаю за что они отвечают, но смутная мысль, что надо бы их учитывать или разобраться что за они

источник

12:51пожаловаться #20