Size: a a a

2020 March 12

ИК

Иван Калининский... in Moscow Spark
Алексей
про oracle scn надо только помнить, что ставится он на уровне блока, туда могут попасть неизмененные данные + если данные удаляются, то такие строки надо будет искать вручную
Таблицу можно создать с условием rowdependencies, тогда ora_rowscn может принимать разные значения для записей в одном блоке. Но я не знаю, какие накладные расходы это повлечёт
источник

ИК

Иван Калининский... in Moscow Spark
Nikolay
Это не совсем так. Он не на уровне блока т.е он не один на блок , а в каждом блоке есть ITL  (interested transaction list) , а у строки в блоке есть ссылка на itl. Это очень упрощённо по scn.
А при ретроспективных запросах itl тоже задействуется? (просто интересно, по ссылкам пока не ходил)
источник

N

Nikolay in Moscow Spark
Иван Калининский
А при ретроспективных запросах itl тоже задействуется? (просто интересно, по ссылкам пока не ходил)
Да, насколько помню. И когда строится cr копия блока для "обычного"  чтения тоже используется itl.он идёт через itl в undo и строит в buffer cache новый блок, который соответствует scn "текущено" запроса.
источник

N

Nikolay in Moscow Spark
Но тут я не уверен. С обычным чтением уверен , а с ретроспективным не уверен.
источник
2020 March 13

A

AndroS in Moscow Spark
ребят, наверное уже сталкивались с таким. В hive была изменена meta информация таблицы. Spark видит старую версию. Как его пропушить?
источник

K

KrivdaTheTriewe in Moscow Spark
Ребят, не могу понять, from_csv c версии или я чот туплю
https://github.com/apache/spark/pull/22379/files#diff-80a6da9ac9681594543c70c837b12641
источник

K

KrivdaTheTriewe in Moscow Spark
источник

K

KrivdaTheTriewe in Moscow Spark
SparkR

   Major features
       [SPARK-25393] Adding new function from_csv()
источник

LK

Leonid Krylov in Moscow Spark
AndroS
ребят, наверное уже сталкивались с таким. В hive была изменена meta информация таблицы. Spark видит старую версию. Как его пропушить?
spark.catalog.refreshTable("my_table") речь об этом?
источник

С

Сюткин in Moscow Spark
spark.sql('MSCK REPAIR TABLE table_name') 
источник

A

AndroS in Moscow Spark
Сюткин
spark.sql('MSCK REPAIR TABLE table_name') 
Это пробовал не помогло
источник

A

AndroS in Moscow Spark
Leonid Krylov
spark.catalog.refreshTable("my_table") речь об этом?
тоже нет
источник

A

AndroS in Moscow Spark
такое ощущение, что spark у себя где-то хранит мета информацию, отличную от hive
источник

NN

No Name in Moscow Spark
Сюткин
spark.sql('MSCK REPAIR TABLE table_name') 
А чем от refresh table отличается?
источник

SS

Svetlana Skorikova in Moscow Spark
AndroS
такое ощущение, что spark у себя где-то хранит мета информацию, отличную от hive
Сталкивалась с такой же ситуацией.
spark.sql("refresh table my_table") помогал
вместо my_table пишешь номер_дб.имя_таблицы, как в обычных запросах.
источник

SS

Svetlana Skorikova in Moscow Spark
AndroS
такое ощущение, что spark у себя где-то хранит мета информацию, отличную от hive
так и есть
источник

A

AndroS in Moscow Spark
пробовал, не помогло :(
источник

A

AndroS in Moscow Spark
пока откатился
источник
2020 March 16

IK

Ilya Kozyrev in Moscow Spark
Привет. Звучит бредом, но можно ли в Spark SQL проверить существует ли колонка. Нужно что то вроде
case when 
if_exists(colName)
then
...
Датафреймом в данной ситуации я пользоваться не могу, чисто SQL
источник

ИК

Иван Калининский... in Moscow Spark
Ilya Kozyrev
Привет. Звучит бредом, но можно ли в Spark SQL проверить существует ли колонка. Нужно что то вроде
case when 
if_exists(colName)
then
...
Датафреймом в данной ситуации я пользоваться не могу, чисто SQL
Посоветовал бы sparkSession.catalog, но раз уж датафрейма нет, то и каталога тоже нет))
источник