В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

592 membersпожаловаться на группу
2020 August 16

i

i in Scrapy
надо видать побольше читать про фронтенд, чтобы понять зачем так делают. три раза одно и то же повторяют в разных аттрибутах, причем там есть всякие data-mediumthumb - но картинка тупо одна и та же.
https://i.imgur.com/TG8yx3p.png
источник
19:55пожаловаться#1

К

Кирилл in Scrapy
i
надо видать побольше читать про фронтенд, чтобы понять зачем так делают. три раза одно и то же повторяют в разных аттрибутах, причем там есть всякие data-mediumthumb - но картинка тупо одна и та же.
https://i.imgur.com/TG8yx3p.png
Простой src заполняется после лэйзи лоада, скорее всего из data-src. Не знаю как там в админке, но возможно можно выбирать превью к видео с самым интересным кадром, ну и авто генерация, вот тебе еще один возможный дубль. Медиум, тоже понятно, скорее всего должен быть другой размер.
источник
22:17пожаловаться#2
2020 August 17

ИБ

Иван Батурин... in Scrapy
i
надо видать побольше читать про фронтенд, чтобы понять зачем так делают. три раза одно и то же повторяют в разных аттрибутах, причем там есть всякие data-mediumthumb - но картинка тупо одна и та же.
https://i.imgur.com/TG8yx3p.png
Thumb это превью мелкое. Medium - среднего размера картинка (например для показа без зума на странице). Они все одинаковые, только разрешение разное... Ищите ссылку без thumb и других модификаторов размера. Или big/large. Скорее всего она будет с самым высоким разрешением. В каком атрибуте и тэге она будет совершенно без разницы.
источник
05:36пожаловаться#3

i

i in Scrapy
Иван Батурин
Thumb это превью мелкое. Medium - среднего размера картинка (например для показа без зума на странице). Они все одинаковые, только разрешение разное... Ищите ссылку без thumb и других модификаторов размера. Или big/large. Скорее всего она будет с самым высоким разрешением. В каком атрибуте и тэге она будет совершенно без разницы.
Ну это понятно, что они должны быть разными, но здесь они абсолютно одинаковые, не по виду, а по саму URL даже, строчки полностью совпадают, о чем говорит зеленая подсветка в этом редакторе.
источник
09:03пожаловаться#4

A

Andrii in Scrapy
Привет. Есть у кого-то опыт успешного обхода DDoS protection by Cloudflare 
(This process is automatic. Your browser will redirect to your requested content shortly.

Please allow up to 5 seconds ...)
источник
16:03пожаловаться#5

К

Кирилл in Scrapy
Селениумом можно
источник
16:03пожаловаться#6

S

SoHard 🎄 in Scrapy
Andrii
Привет. Есть у кого-то опыт успешного обхода DDoS protection by Cloudflare 
(This process is automatic. Your browser will redirect to your requested content shortly.

Please allow up to 5 seconds ...)
https://github.com/Anorov/cloudflare-scrape
GitHub
Anorov/cloudflare-scrape
A Python module to bypass Cloudflare's anti-bot page. - Anorov/cloudflare-scrape
источник
16:04пожаловаться#7

A

Andrii in Scrapy
ValueError: Unable to identify Cloudflare IUAM Javascript on website. Cloudflare may have changed their technique, or there may be a bug in the script.
источник
16:04пожаловаться#8

МС

Михаил Синегубов... in Scrapy
https://github.com/VeNoMouS/cloudscraper

от этот еще активненько шевелится
GitHub
VeNoMouS/cloudscraper
A Python module to bypass Cloudflare's anti-bot page. - VeNoMouS/cloudscraper
источник
16:06пожаловаться#9

A

Andrii in Scrapy
мидварка как раз юзает етот клаудскрапер)
источник
16:08пожаловаться#10

МС

Михаил Синегубов... in Scrapy
эээ, ой :)
источник
16:09пожаловаться#11

A

Andrii in Scrapy
cloudscraper.exceptions.CloudflareChallengeError: Detected a Cloudflare version 2 Captcha challenge, This feature is not available in the opensource (free) version.
источник
16:10пожаловаться#12

A

Andrii in Scrapy
😐
источник
16:10пожаловаться#13

A

Andrii in Scrapy
ну ладно, на етом спасибо)
источник
16:10пожаловаться#14

A

Andrii in Scrapy
а может через сплеш как-то можно?
источник
16:58пожаловаться#15

A

Andrii in Scrapy
и да - можно :)
источник
16:59пожаловаться#16

Ю

Юлия in Scrapy
Всем привет. Может знает кто.. Как можно спарсить все ссылки по поисковому запросу в гугле?
источник
20:34пожаловаться#17

К

Кирилл in Scrapy
Юлия
Всем привет. Может знает кто.. Как можно спарсить все ссылки по поисковому запросу в гугле?
Привет, заказы нужно писать в @scrapy_jobs
источник
20:35пожаловаться#18

Ю

Юлия in Scrapy
Кирилл
Привет, заказы нужно писать в @scrapy_jobs
А готовых парсеров нет?
источник
20:39пожаловаться#19

К

Кирилл in Scrapy
Скорее всего у кого-то есть
источник
20:39пожаловаться#20