В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

rannts

293 membersпожаловаться на группу
2020 November 10

SA

Sergey Arkhipov in rannts
Если что, w3m незаметно решает больше проблем, чем курл, поскольку и редиректы прозрачно отрабатывает, и куки тоже корректно высылает, так что в общем случае, это хороший совет.

Проблемы начинаются сразу же после общего случая, к сожалению (
источник
18:34пожаловаться#1

SA

Sergey Arkhipov in rannts
w3m -dump https://www.dns-shop.ru/catalog/17aa72ab16404e77/komplektuyushhie-kompyutery-i-noutbuki/
www.dns-shop.ru
Комплектующие, компьютеры и ноутбуки: купить в интернет магазине DNS. Комплектующие, компьютеры и ноутбуки: цены, большой каталог, новинки
Большой ассортимент электроники, цифровой и бытовой техники, а так же товаров для дома, известных брендов в интернет-магазине DNS по отличным ценам. Гарантия и сервис. Доставка!
источник
18:48пожаловаться#2

SA

Sergey Arkhipov in rannts
w3m -dump https://nizhniynovgorod.piluli.ru/brand
nizhniynovgorod.piluli.ru
аптека Пилюли.ру: поиск лекарств, купить лекарство в аптеке Нижнего Новгорода с на дом - nizhniynovgorod.piluli.ru
Продажа лекарств, вакцин для прививок, медицинской продукции в Нижнем Новгороде. Поиск и заказ лекарств. Медицинские новости и статьи
источник
18:48пожаловаться#3

SA

Sergey Arkhipov in rannts
Это Variti
источник
18:49пожаловаться#4

SA

Sergey Arkhipov in rannts
w3m -dump https://www.canadagoose.com/ca/en/home-page
источник
18:50пожаловаться#5

SA

Sergey Arkhipov in rannts
Это Kasada
источник
18:50пожаловаться#6

SA

Sergey Arkhipov in rannts
w3m -dump https://www.manta.com/
источник
18:52пожаловаться#7

SA

Sergey Arkhipov in rannts
Это Distil + Cloudflare
источник
18:52пожаловаться#8

SA

Sergey Arkhipov in rannts
Ну и так далее по списку. Антиботы 🤷‍♂️
источник
18:52пожаловаться#9

VR

Victor Ryabinin in rannts
Sergey Arkhipov
w3m -dump https://www.dns-shop.ru/catalog/17aa72ab16404e77/komplektuyushhie-kompyutery-i-noutbuki/
www.dns-shop.ru
Комплектующие, компьютеры и ноутбуки: купить в интернет магазине DNS. Комплектующие, компьютеры и ноутбуки: цены, большой каталог, новинки
Большой ассортимент электроники, цифровой и бытовой техники, а так же товаров для дома, известных брендов в интернет-магазине DNS по отличным ценам. Гарантия и сервис. Доставка!
w3m -dump https://www.dns-shop.ru/catalog/17aa72ab16404e77/komplektuyushhie-kompyutery-i-noutbuki/ -o user_agent='Mozilla/5.0 (Linux i686; U; w3m 0.5.3; en)'
www.dns-shop.ru
Комплектующие, компьютеры и ноутбуки: купить в интернет магазине DNS. Комплектующие, компьютеры и ноутбуки: цены, большой каталог, новинки
Большой ассортимент электроники, цифровой и бытовой техники, а так же товаров для дома, известных брендов в интернет-магазине DNS по отличным ценам. Гарантия и сервис. Доставка!
источник
19:01пожаловаться#10

VR

Victor Ryabinin in rannts
Sergey Arkhipov
w3m -dump https://nizhniynovgorod.piluli.ru/brand
nizhniynovgorod.piluli.ru
аптека Пилюли.ру: поиск лекарств, купить лекарство в аптеке Нижнего Новгорода с на дом - nizhniynovgorod.piluli.ru
Продажа лекарств, вакцин для прививок, медицинской продукции в Нижнем Новгороде. Поиск и заказ лекарств. Медицинские новости и статьи
с этим подмена юзер агента не прокатывает
источник
19:05пожаловаться#11

SA

Sergey Arkhipov in rannts
Подмена юзерагента редко где работает. Уже лет 5-10
источник
19:06пожаловаться#12

VR

Victor Ryabinin in rannts
Victor Ryabinin
w3m -dump https://www.dns-shop.ru/catalog/17aa72ab16404e77/komplektuyushhie-kompyutery-i-noutbuki/ -o user_agent='Mozilla/5.0 (Linux i686; U; w3m 0.5.3; en)'
www.dns-shop.ru
Комплектующие, компьютеры и ноутбуки: купить в интернет магазине DNS. Комплектующие, компьютеры и ноутбуки: цены, большой каталог, новинки
Большой ассортимент электроники, цифровой и бытовой техники, а так же товаров для дома, известных брендов в интернет-магазине DNS по отличным ценам. Гарантия и сервис. Доставка!
тут прошло
источник
19:06пожаловаться#13

VR

Victor Ryabinin in rannts
Sergey Arkhipov
w3m -dump https://www.manta.com/
тут конечно вообще круть и капчу захотел и клаудфлэр не пускает, чем такое скрапить?
источник
19:08пожаловаться#14

VR

Victor Ryabinin in rannts
только силениумом?
источник
19:08пожаловаться#15

SA

Sergey Arkhipov in rannts
С ним тоже прикольно, потому что есть ряд техник, которые позволяют вычислять headless-браузеры
источник
19:09пожаловаться#16

SA

Sergey Arkhipov in rannts
GitHub - paulirish/headless-cat-n-mouse: Is headless chrome currently detectable? Let's pit the detections and detection evasions against eachother.
https://github.com/paulirish/headless-cat-n-mouse
GitHub
paulirish/headless-cat-n-mouse
Is headless chrome currently detectable? Let's pit the detections and detection evasions against eachother. - paulirish/headless-cat-n-mouse
источник
19:10пожаловаться#17

SA

Sergey Arkhipov in rannts
Detecting Chrome headless, the game goes on!
https://antoinevastel.com/bot%20detection/2019/07/19/detecting-chrome-headless-v3.html
Antoinevastel
Detecting Chrome headless, the game goes on!
This post presents a new technique that enables to distinguish a vanilla Chrome browser from a Chrome browser running in headless mode.
источник
19:11пожаловаться#18

SA

Sergey Arkhipov in rannts
Ну и вообще весь его блог. Антуан чуть не главный специалист по этой теме
источник
19:11пожаловаться#19

VR

Victor Ryabinin in rannts
Интересно, но на крайний случай всегда есть SikuliX вот ее только если каптчей ловить
источник
19:16пожаловаться#20