Телеграмм чат группы tkhirianov_python

Size: a a a

Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

2704 membersпожаловаться на группу

2020 December 31

🚲U

🚲 Oleh Kopyl UI/UX d... in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

std::slavik

вот вроде норм сервис

Да, кажется этот мне и советовали

источник

15:26пожаловаться #1

🚲U

🚲 Oleh Kopyl UI/UX d... in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

std::slavik

Переслано от std::slavik

гендир на днях спарсил суперджоб
говорит щас в парсинге типа основная защита это процессорное время

Это как?

источник

15:27пожаловаться #2

🚲U

🚲 Oleh Kopyl UI/UX d... in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

std::slavik

Переслано от std::slavik

типа те каждую страницу над получить сперва, плюс там структура между ними разная
типа нельзя по одной схеме все парсить

У меня доступ к апи, но не оффициальный

источник

15:27пожаловаться #3

std::slavik in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

🚲 Oleh Kopyl UI/UX designer

Это как?

ну на то чтобы получить информацию со страницы требуется процессорное время

источник

15:27пожаловаться #4

std::slavik in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

если по черному парсить

источник

15:28пожаловаться #5

std::slavik in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

его намеренно увеличивают
чтобы для того чтобы за раз спарсить много страниц требовался сервер мощный

источник

15:28пожаловаться #6

🚲U

🚲 Oleh Kopyl UI/UX d... in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

std::slavik

ну на то чтобы получить информацию со страницы требуется процессорное время

А оно при чем?)

источник

15:28пожаловаться #7

🚲U

🚲 Oleh Kopyl UI/UX d... in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

std::slavik

если по черному парсить

Это как?)

источник

15:28пожаловаться #8

std::slavik in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

🚲 Oleh Kopyl UI/UX designer

Это как?)

ну это без апи

источник

15:29пожаловаться #9

🚲U

🚲 Oleh Kopyl UI/UX d... in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

std::slavik

его намеренно увеличивают
чтобы для того чтобы за раз спарсить много страниц требовался сервер мощный

Аккуратно с этим. Могут делать rate limiting

источник

15:29пожаловаться #10

std::slavik in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

конечно делают

источник

15:29пожаловаться #11

std::slavik in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

для этого есть прокси

источник

15:29пожаловаться #12

🚲U

🚲 Oleh Kopyl UI/UX d... in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

std::slavik

для этого есть прокси

Тру, тру

источник

15:31пожаловаться #13

Oleg Makarikhin in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

не забывайте,... страдать

источник

15:54пожаловаться #14

std::slavik in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

селениум

источник

15:58пожаловаться #15

My name is ... in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

источник

19:54пожаловаться #16

А!

А !_! in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

С Новым годом товарищи ! Тимофею Федоровичу - респект и уважение !

источник

20:20пожаловаться #17

Alexander Kulakov in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

Всех с Новым годом.

источник

20:59пожаловаться #18

🚲U

🚲 Oleh Kopyl UI/UX d... in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

tg_image_2167827455.jpeg

(145.2 Кб)

Как лучше всего сократить кол-во кода?

Сделать функцию для получени реквеста или бросать кастомное исключение на коде != 200 и делать try excpet?

источник

21:22пожаловаться #19

🚲U

🚲 Oleh Kopyl UI/UX d... in Хирьянов Т.Ф., Практика программирования на Python 3 (2019)

std::slavik

ну это без апи

Кстати, пока что решил курл-запросом

источник

21:26пожаловаться #20