SC
s3 настолько небесплатный что стоимость хранения за GB в разы выше чем диски в хецнере, я бекапы делаю на жесткие диски, чтобы сэкономить на s3
ну это не совсем корректно сравнивать
Size: a a a
2020 June 19
Д
Ну на Терадату денег нету даже у телекома
D
Ну на Терадату денег нету даже у телекома
вы просто плохо обосновываете =)
D
Кстати в теории компактные парты могли бы быть вида.
не столбец1столбец2столбец3 как сейчас
А кусочками 64к строк(блок сжатия) столбец1столбец2столбец3 и так до победного.
чисто в теории выглядит, что в таком при дергании гранул локальность seek дисков должна была бы быть лучше.
не столбец1столбец2столбец3 как сейчас
А кусочками 64к строк(блок сжатия) столбец1столбец2столбец3 и так до победного.
чисто в теории выглядит, что в таком при дергании гранул локальность seek дисков должна была бы быть лучше.
не понял выигрыша если честно...
DC
и я видел счет на несколько килобаксов за просто листинг файлов в бакете s3
AT
и я видел счет на несколько килобаксов за просто листинг файлов в бакете s3
ну если по 1000 листать за раз (больше нельзя), то 5баксов за миллиард файлов
DC
Al T
ну если по 1000 листать за раз (больше нельзя), то 5баксов за миллиард файлов
часто листали, десятки миллионов файлов, да по 1000
AT
да, я тож такое видел...
l
не понял выигрыша если честно...
Ну допустим у нас запрос дернуть несколько гранул из парта, диски у нас hdd
и есть несколько вариантов
нам нужно прочитать N(кол-во нужных гранул)*M(кол-во нужны колонок) кусочков с диска,
либо прочитать N кусочков с диска.
Последовательные промежутки диск читает быстрее.
Но возможно в других случаях было бы замедление
и есть несколько вариантов
нам нужно прочитать N(кол-во нужных гранул)*M(кол-во нужны колонок) кусочков с диска,
либо прочитать N кусочков с диска.
Последовательные промежутки диск читает быстрее.
Но возможно в других случаях было бы замедление
D
кстати да, натягивание КХ на S3 тот ещё вопрос (модно, все дела, но не полезно). S3 все таки чтоб объекты хранить придумали, и финансовая модель заточена под это... но раз все делают...
SC
ну для какого-нибудь холодного резинового архива подойдёт
D
Ну допустим у нас запрос дернуть несколько гранул из парта, диски у нас hdd
и есть несколько вариантов
нам нужно прочитать N(кол-во нужных гранул)*M(кол-во нужны колонок) кусочков с диска,
либо прочитать N кусочков с диска.
Последовательные промежутки диск читает быстрее.
Но возможно в других случаях было бы замедление
и есть несколько вариантов
нам нужно прочитать N(кол-во нужных гранул)*M(кол-во нужны колонок) кусочков с диска,
либо прочитать N кусочков с диска.
Последовательные промежутки диск читает быстрее.
Но возможно в других случаях было бы замедление
ну вот и я о чем SUM(col) из 1000 колонок например, внезапно популярный юз кейс для колоночной (!) базы
SC
понадобился партишн - дёрнул в локальный кеш и ворочай
D
Ну допустим у нас запрос дернуть несколько гранул из парта, диски у нас hdd
и есть несколько вариантов
нам нужно прочитать N(кол-во нужных гранул)*M(кол-во нужны колонок) кусочков с диска,
либо прочитать N кусочков с диска.
Последовательные промежутки диск читает быстрее.
Но возможно в других случаях было бы замедление
и есть несколько вариантов
нам нужно прочитать N(кол-во нужных гранул)*M(кол-во нужны колонок) кусочков с диска,
либо прочитать N кусочков с диска.
Последовательные промежутки диск читает быстрее.
Но возможно в других случаях было бы замедление
ваш случай про индексный доступ... это все таки меньше
l
ну вот и я о чем SUM(col) из 1000 колонок например, внезапно популярный юз кейс для колоночной (!) базы
Ну тут у кого какие запросы, скорее всего. да
у нас просто это все дерганье по индексу.
у нас просто это все дерганье по индексу.
D
Ну тут у кого какие запросы, скорее всего. да
у нас просто это все дерганье по индексу.
у нас просто это все дерганье по индексу.
ну тогда плохо, особенно если это select *... но что поделать... пора WOS пилить из вертики
D
ну для какого-нибудь холодного резинового архива подойдёт
да, сюда ещё hive/hdfs и прочее можно будет подтянуть потом =)
D
Ну на Терадату денег нету даже у телекома
если денег не так чтоб много, лучше вертику, они падают по ценам в адекватные range, учитывая почти полное отсутствие геморроя и приятную документацию, очень практично
DC
Так в уже вроде на WOS похоже, пишем парты в память, и пишем WAL на диск -- Polymorphic parts (in-memory format)
D
Так в уже вроде на WOS похоже, пишем парты в память, и пишем WAL на диск -- Polymorphic parts (in-memory format)
WOS строковый, и не партами. по другому. что-лучше - зависит от сценария конечно