DE
Когда я что-то отпарсил, мне HTML больше нах не нужен. Максимум это JSON файлы
Size: a a a
2020 November 24
IZ
я сразу думал что бы в файлы писать его, но 7 лямов файлов записать - намучаюсь с айнодами и вложеностью папок в линуксе
Ну в общем, не сохраняй без особой надобности, и всё.
IZ
т.е. силами мускула тут никак?
Сколько у тебя там в одной строке HTML-я?
A
Сколько у тебя там в одной строке HTML-я?
DE
Всё равно же там нет всей череды ассетов
IZ
т.е. силами мускула тут никак?
Ну и ты понимаешь, что СУБД — это не сайт, не нужно в туда записывать всякое дерьмо...
DE
0.5мб * 7 * 10е6
DE
3.5 терабайта да?
DE
да. интересно на сколько там винт..
df -h
DE
Ты и парсишь чтобы не работать с HTML
IZ
да. но там такая шняга, что челам хз что нужно. и сказали мол греби хтмл что б не тратить время потом на запросы к сайту
DE
да. но там такая шняга, что челам хз что нужно. и сказали мол греби хтмл что б не тратить время потом на запросы к сайту
А зачем второй раз парсить?
IZ
да. но там такая шняга, что челам хз что нужно. и сказали мол греби хтмл что б не тратить время потом на запросы к сайту
Теперь будете мериться письками с Яндексом, кто кого!
Либо вы его, ну или уже он вас!
Либо вы его, ну или уже он вас!
A
А зачем второй раз парсить?
тип понадобиться параметр спрасить новый, который раньше не парсили. а мы хуяк и не к сайту стучимся а у себя хтмл храним