потом буду медитировать

У меня вот такой вопрос. Я всегда раньше парсил следующим образом:
1. Получал html-страницу
2. Парсил
3. Сохранял данные в базу

Сейчас думаю над таким подходом:
1. Получить html-страницу
2. Сохранить её (в БД, на диск?)
3. Распарсить
4. Сохранить данные в базу

Для чего это нужно?
Пример из жизни: парсил ~7 000 000 страниц и только по окончанию парсинга обратил внимание, что забыл спарсить одно из полей у item'а.

Вопрос: имеет ли такой подход право на жизнь и если да, то куда лучше сохранять нераспаршенные html страницы?

Вообще, у скрапи есть кэш

Ну, объём кэша ~ на терабайт получается: 7 000 000 * 150кб = 1 050 000 000 = ~1TB

В кэше не особо хотелось бы хранить, т.к. вдруг потом понадобиться не из скрапи к скачанным данным обращаться

Скрапи ведь на диске кэширует?

Я генерирую json для некоторых проектов и туда закидываю параметры

В идеале бы конечно сживать всё это дело

Есть и обвязки на редис и тп

вот это уже лучше

на больших объемах может выйти дешевле все по второму кругу обойти. Но здесь нужно садиться за эксель и считать.

Зайди в личку

В принципе сайт может отпределять OS и считать всех на линуксе подозрительными хацкерами, а всех на винде и маке - хорошими)

https://stackoverflow.com/questions/9514179/how-to-find-the-operating-system-version-using-javascript

Мы как-то кафку для этого юзали

Спасибо, посмотрю

ну, это не JS точно. Ибо изначально из под скрапи пробовал
ubuntu/win без никаких корректировок было.

на уровне домыслов, может дело быть в TTL пакетов...
вроде на хабре была на эту тему статья, но там было про распознавание мобильного трафика....
просто других мыслей нет, от слова совсем

@Verz1Lka когда-то про это говорил, я точно деталей не помню, но вроде как-то определяют с какой ОС зашли на сайт, может Евгений сможет точнее сказать 😅

https://subinsb.com/default-device-ttl-values/

так то да, дефолтный TTL отличается....

теперь бы добраться - тестануть....