да, видел, гугл сервера для вычислений предоставляет

В Дате - дофига возможностей куда расти и развиваться....Тут не только питон нужен - тот же CI /CD

Чуть ли не каждый месяц выкатывают новый фреймворк в области данных от всяких Уберов AirBnb и так далее

это и интересно, как для скраперов делать эту трубу и тесты? есть опыт?

Ну скрапинг - это как бы малая часть - дрочево много с распарсиванием данных, все эти теги и все это на соплях держиться - того гляди завтра все рухнет если источник поменял че то....Хотя строить полноценную платформу по парсингу - интересный кейс

верно

Тут смотря какая задача - если ты 1 лям страниц спайдером обходишь и таким спайдеров - 100 -200 - одна задача - попробуйка масштабировать....Если парсишь одну страничку в день - но 100-200  таких - то другая....Зависит от того какая именно задача скрапинга....Тут ребята херачат неделями сайт - тоже интересно как написать такое и еще и конторлировать целостность данных - ибо никто не зочет еще раз неделю скрапить

А такой вопрос: насколько трудно найти удалённую работу по скрапингу на постоянную основу?

я в прошлые 2 недели написал скраперы 20 сетевых магазинов) но реально геморрой) как это поддерживать - хз)

хотелось бы знать внутренности, как они это делают

И стоит ли вообще курить скрапинг: я перекладывальщик данных и мне скучно - ищю чем можно заняться интересным и заодно какие-нибудь навыки подтянуть (тот же питон).
?

ETL процессы ?

Да.

Етлщик

какой аспект поддержки интересует?

написано отдельно проектами скрапи, запускаются в кроне. Как это все отслеживать и идентифицировать пока не решили. Хотим ELK стек поднимать и им как-то смотреть..

обвешать код паука проверками, ошибки выдавать через spidermon в нужный канал (каналы)

очень трудно)