Size: a a a

2021 September 30

D

Dmitry in Data Engineers
это же основы. транзакции, acid, уровни транзакций
источник

NN

No Name in Data Engineers
Я думаю, что в мире айти не стоит так железно привязываться к тому, что было 10 лет назад, вполне могло потерять актуальность.
источник

VP

Vitaly Pismarev in Data Engineers
Предполагаю, что 10 лет назад не было такого засилья бигдаты и распределённых систем. Можно на эту тему Клепмана почитать, ACID который есть в традиционных СУБД вещь очень дорогая
источник

VP

Vitaly Pismarev in Data Engineers
Поэтому допущения это вполне нормально
источник

D

Dmitry in Data Engineers
блин, acid ввели именно для того что отличать то чего не умеет acid от тех что умеет.
источник

D

Dmitry in Data Engineers
не нормально. субд без acid существовали всю дорогу параллельно с acidными, их свежих mysql с myisam, в эпоху бигдаты писали что-то типа с атомарной записью.
источник

VP

Vitaly Pismarev in Data Engineers
Сорян, но тут я сольюсь. Мне как инженеру пофиг на этическое применение того или иного акронима, мне важнее что система умеет и не умеет и я принимаю её такой какая она есть.
источник

ИК

Иван Калининский... in Data Engineers
Затем понадобилось ввести очень расплывчатую теорему CAP, после немного более определённый base.
И в acid, если докопаться, не всё гладко. Системы с сериализуемыми транзакциями могут выглядеть привлекательно, но если за это приходится платить пессимистическими блокировками, однопоточностью или чем-то ещё, то приходится искать компромисс. И вот уже read commited вполне достаточно, а ведь это уже не идеальный acid
источник

ИК

Иван Калининский... in Data Engineers
Google Spanner считается за бигдату? У них всё нормально с этим, насколько вообще мне известно.

A transaction in Cloud Spanner is a set of reads and writes that execute atomically at a single logical point in time across columns, rows, and tables in a database. (c)
источник

AS

Andrey Smirnov in Data Engineers
Считается конечно, вопрос и был у кого это есть
источник

D

Dmitry in Data Engineers
CAP это теорема, призванная рассказать/показать в чем проблема, какие варианты решения. сериалайзбл и кпримеру оракловый сериалайзбд, да интересная тема с историей из anis sql 92, но это все другое (тм)
acid это фича субд. она или есть или нет. этот термин для того и вводили, что бы люди понимали, есть фича в субд или ее нет.
источник

А

Алексей in Data Engineers
зачем acid в хранилище данных? по моему неотключаемый acid это минус оракла, как раз, при организации ХД
источник

А

Алексей in Data Engineers
и что плохого в хранении версий в самой таблице? pg же также делает и никто не жалуется?
источник

I

Igar in Data Engineers
Hive 2 иногда может запороть и отдельный insert overwrite, оставив таблицу пустой
источник

ИК

Иван Калининский... in Data Engineers
muahahah это не баг, это фича ;/
источник

I

Igar in Data Engineers
да, говноасид называется
источник

AZ

Anton Zadorozhniy in Data Engineers
Это кто это не жалуется?
источник

ИК

Иван Калининский... in Data Engineers
насчёт хайв2 не скажу, а вот в ванильном спарке всё просто:
1. Видим overwrite
2. Удаляем всё, что есть в директории, навсегда, без восстановлния
3. Теперь можно попробовать что-то в чистую директорию записать. Мож получится, мож нет. Вообще не волнует
источник

ИК

Иван Калининский... in Data Engineers
источник

D

Dmitry in Data Engineers
какая то каша. в pg тоже неотключаемый acid. версионность в субд и как они это достигают тема параллельная. в pg сделано криво, требует vacum. они это понимают и переделывают, скоро будет на манер ораклового undo. но к acid это никак не относится
источник