В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

832 membersпожаловаться на группу
2021 February 10

DO

Daniil Okhlopkov in Scrapy
Andrey Rahmatullin
Возможно, для этой задачи можно и не рендерить, кроме вот последних случаев
Спасибо за ответ.

Вот и хотелось бы как-то выделить последние случаи "как определить по html, что его нужно дорендерить".
Но в моей задаче, похоже, это нужно делать, если из html не удалось достать текст / метаданные или еще чего-то базового и важного.
источник
12:15пожаловаться#1

AR

Andrey Rahmatullin in Scrapy
Типа того
источник
12:15пожаловаться#2

DO

Daniil Okhlopkov in Scrapy
Andrey Rahmatullin
Ещё кстати нужно будет отличать нормальный ответ от, например, редиректа антибота
Разве антибот не лечится проосто user-agent? Или они могут понять, что я зашел из DigitalOcean и сказать "досвидания"?
источник
12:16пожаловаться#3

AR

Andrey Rahmatullin in Scrapy
😳
источник
12:16пожаловаться#4

AR

Andrey Rahmatullin in Scrapy
Это... интересный взгляд на проблему
источник
12:16пожаловаться#5

DO

Daniil Okhlopkov in Scrapy
Понял)
источник
12:16пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
Нет, всё гораздо хуже :)
источник
12:16пожаловаться#7

AP

Alex Python in Scrapy
js-обусфикация , кто можешь расшифровать?)
источник
12:17пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
Alex Python
js-обусфикация , кто можешь расшифровать?)
Хром
источник
12:17пожаловаться#9

AP

Alex Python in Scrapy
ммм на пост гет запросах юзать хром?
источник
12:17пожаловаться#10

AP

Alex Python in Scrapy
😏
источник
12:17пожаловаться#11

AR

Andrey Rahmatullin in Scrapy
Тогда уточняй что надо расшифровать
источник
12:18пожаловаться#12

DO

Daniil Okhlopkov in Scrapy
Andrey Rahmatullin
Ещё кстати нужно будет отличать нормальный ответ от, например, редиректа антибота
В моем случае, почти все ссылки - это лендосы, а они, насколько я понимаю, наоборот готовы быть распарсенными, чтобы про них узнало как можно больше людей.
источник
12:18пожаловаться#13

AR

Andrey Rahmatullin in Scrapy
Обычно достаточно переписать алгоритм в паука
источник
12:18пожаловаться#14

AR

Andrey Rahmatullin in Scrapy
@okhlopkov я б ещё посмотрел нет ли в https://github.com/TeamHG-Memex чего-то полезного для этой задачи
GitHub
TeamHG-Memex
TeamHG-Memex has 74 repositories available. Follow their code on GitHub.
источник
12:19пожаловаться#15

DO

Daniil Okhlopkov in Scrapy
Andrey Rahmatullin
Возможно, для этой задачи можно и не рендерить, кроме вот последних случаев
Последний вопрос от дилетанта: достаточно ли будет сохранить полученную GET'ом HTML-ку на s3, чтобы потом ее дорендерить в случае необходимости без повтороного GET запроса за этой же html кой?
источник
12:19пожаловаться#16

AP

Alex Python in Scrapy
пытаюсь залогиниться на payeer post get запросами,  а там как мне пояснили стоит эта хренатень и без нее не залогиниться, по этому надо как то это расшифровать
источник
12:20пожаловаться#17

AR

Andrey Rahmatullin in Scrapy
Alex Python
пытаюсь залогиниться на payeer post get запросами,  а там как мне пояснили стоит эта хренатень и без нее не залогиниться, по этому надо как то это расшифровать
Никакой конкретики
источник
12:20пожаловаться#18

AP

Alex Python in Scrapy
Переслано от Ilya Shakin
даров, поснифал я твой паер
источник
12:20пожаловаться#19

AP

Alex Python in Scrapy
Переслано от Ilya Shakin
там js-обусфикация стоят, если расшифруешь - то можно будет авторизоваться
источник
12:20пожаловаться#20