Тут Скрапингхаб собирается проводить свой Extract Summit где-то через час: https://www.extractsummit.io/ You are welcome

Моя команда будет делать панельку про антибот системы. Сам я не участвую, поскольку ухожу из компании. Но вам, если интересно, советую подключиться и послушать. Из стоящих треков там еще только Legal Complience, это если в будущем придется заняться скрапингом либо как основной деятельностью, либо вспомогательной (намайнить датасетик). Остальное по желанию. Мишу еще можно послушать, если приходится часто обниматься со Scrapy

Я тут недавно обнаружил, что через вывод в поток w3m можно скрапить почти любые страницы влет, обходя множество защит от ботов

Это довольно интересная теория)

когда я искал скрапер для одного сайта, находил только решения на селениуме, а вот w3m -dump https://url отлично забирал весь вывод страницы

Да и курл - такой же скрапер

с курлом сначала надо исследовать как что и куда и как выдрать куки/сессии и т.д., а вот w3m забирает все без вопросов

Если ему отдают, конечно

хм. я думал может w3m такой ловкий, аж в js умеет, а там куки какие-то

умеет

это же браузер

ну ок, попробуйте вытащить курлом содержимое https://9gag.com/v1/group-posts/group/

w3m делает это так w3m -dump https://9gag.com/v1/group-posts/group/

а курл даст вам страничку с js

или есть сайты, где очень много ловушек для ботов, w3m их успешно обходит

конечно, это не панацея, но как минимум попробуйте, если есть такие задачи

Все гораздо сложнее. Говорю тебе как человек, который три с чем-то года работал в этой сфере.

W3m не умеет выполнять javascript, начнем с этого

Далее, куча антиботов типа Variti его на пушечный выстрел ее подпустят, поскольку процент его использования очень низкий, и в основном, не для серфинга. Они его на подступах зарубят

Я могу попозже показать пару примеров таких злых страниц

вообще очень интересная тема