Size: a a a

2021 January 06

AP

Alex Python in Scrapy
Georgiy
По умолчанию UrlLengthMiddleware не пропускает запросы с дл. урла более чем URLLENGTH_LIMIT setting (по умолчанию 2083)
спасибо
источник

AC

A C in Scrapy
i
всякое, там вообще разный код можно было загрузить, фантазия ничем не ограничена у них была, где-то просмотры, где-то реклама открывалась, кого-то в вк на группы подписывали, у меня, к примеру, просто в браузере иногда последовательно начинала открываться реклама внаглую. И все это замаскировано под гифки и ffmpeg api
Я даже не могу представить, насколько GIF достаточно для увеличения просмотров (но, возможно, я слишком полагаюсь на пользовательский опыт YouTube)
источник

i

i in Scrapy
там не gif, там запросы js, маскирующиеся под gif, проще почитать статью
источник

P

Pi in Scrapy
i
там не gif, там запросы js, маскирующиеся под gif, проще почитать статью
Кинешь?
источник

i

i in Scrapy
А, я оказывается ее не кинул, сорян)
https://habr.com/ru/company/yandex/blog/534586/
источник

MM

Marat Mkhitaryan in Scrapy
https://dpaste.org/NZ0J

В json ответе есть координаты по типу: 76.9514391683,43.2077367128 если ввести эти координаты в гугл то они все ведут в Иран или в Берингово море. Это какой-то собственный формат для геоданных? Там используется какое то специальное смещение для координат?
источник

G

Georgiy in Scrapy
Marat Mkhitaryan
https://dpaste.org/NZ0J

В json ответе есть координаты по типу: 76.9514391683,43.2077367128 если ввести эти координаты в гугл то они все ведут в Иран или в Берингово море. Это какой-то собственный формат для геоданных? Там используется какое то специальное смещение для координат?
Здесь первая цифра долгота а вторая - широта. (эти координаты указывают на место в городе Алматы).
Т.е. для запроса по этим координатам для гугла цифры надо поменять местами.
https://www.google.com/search?ei=nxj2X-eoM8W4aciug4AC&q=43.2077367128+76.9514391683+&oq=43.2077367128+76.9514391683+&gs_lcp=CgZwc3ktYWIQA0oFCAcSATFKBQgIEgExUJ_eCFjU8whgpvYIaABwAHgAgAGqA4gB5AWSAQcxLjIuNC0xmAEAoAEBoAECqgEHZ3dzLXdpesABAQ&sclient=psy-ab&ved=0ahUKEwin9POJjojuAhVFXBoKHUjXACAQ4dUDCA0&uact=5
источник

MM

Marat Mkhitaryan in Scrapy
Georgiy
Здесь первая цифра долгота а вторая - широта. (эти координаты указывают на место в городе Алматы).
Т.е. для запроса по этим координатам для гугла цифры надо поменять местами.
https://www.google.com/search?ei=nxj2X-eoM8W4aciug4AC&q=43.2077367128+76.9514391683+&oq=43.2077367128+76.9514391683+&gs_lcp=CgZwc3ktYWIQA0oFCAcSATFKBQgIEgExUJ_eCFjU8whgpvYIaABwAHgAgAGqA4gB5AWSAQcxLjIuNC0xmAEAoAEBoAECqgEHZ3dzLXdpesABAQ&sclient=psy-ab&ved=0ahUKEwin9POJjojuAhVFXBoKHUjXACAQ4dUDCA0&uact=5
Огромное спасибо. Пол дня не мог додуматся
источник
2021 January 07

e

em1tao in Scrapy
Можно ли как-нибудь с помощью BeautifulSoup передать значение в input и потом нажать submit_form или придется что-то другое использовать?
источник

К

Кирилл in Scrapy
em1tao
Можно ли как-нибудь с помощью BeautifulSoup передать значение в input и потом нажать submit_form или придется что-то другое использовать?
BS такое не умеет
источник

S

SoHard 🎄 in Scrapy
em1tao
Можно ли как-нибудь с помощью BeautifulSoup передать значение в input и потом нажать submit_form или придется что-то другое использовать?
Bs ничего не нажимает
источник

e

em1tao in Scrapy
нужен селениум?
источник

S

SoHard 🎄 in Scrapy
em1tao
нужен селениум?
Нужно смотреть что отправляет кнопка и делать тоже самое реквестом или что там у тебя
источник

A

Andrii in Scrapy
Нужно почитать как делать пост реквест
источник

e

em1tao in Scrapy
хорошо, все понял, спасибо
источник

AC

A C in Scrapy
Для интерактивного использования Selenium
источник

A

Andrii in Scrapy
Юзать селениум нужно только в максимально сложной ситуации
источник
2021 January 08

П

Пастырь in Scrapy
Andrii
Юзать селениум нужно только в максимально сложной ситуации
Это какой, например? Чтобы знать чего боятся :)
источник

AR

Andrey Rahmatullin in Scrapy
антибот или очень сложная логика в джс, которую не получается понять и реверс-инженернуть
источник

П

Пастырь in Scrapy
Andrey Rahmatullin
антибот или очень сложная логика в джс, которую не получается понять и реверс-инженернуть
Капча имеешь ввиду?
источник