Телеграмм чат группы moscowspark страница 272

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу

2020 March 12

ИК

Иван Калининский... in Moscow Spark

про oracle scn надо только помнить, что ставится он на уровне блока, туда могут попасть неизмененные данные + если данные удаляются, то такие строки надо будет искать вручную

Таблицу можно создать с условием rowdependencies, тогда ora_rowscn может принимать разные значения для записей в одном блоке. Но я не знаю, какие накладные расходы это повлечёт

источник

13:34пожаловаться #1

ИК

Иван Калининский... in Moscow Spark

Nikolay

Это не совсем так. Он не на уровне блока т.е он не один на блок , а в каждом блоке есть ITL (interested transaction list) , а у строки в блоке есть ссылка на itl. Это очень упрощённо по scn.

А при ретроспективных запросах itl тоже задействуется? (просто интересно, по ссылкам пока не ходил)

источник

13:36пожаловаться #2

N

Nikolay in Moscow Spark

Иван Калининский

А при ретроспективных запросах itl тоже задействуется? (просто интересно, по ссылкам пока не ходил)

Да, насколько помню. И когда строится cr копия блока для "обычного" чтения тоже используется itl.он идёт через itl в undo и строит в buffer cache новый блок, который соответствует scn "текущено" запроса.

источник

13:40пожаловаться #3

N

Nikolay in Moscow Spark

Но тут я не уверен. С обычным чтением уверен , а с ретроспективным не уверен.

источник

13:41пожаловаться #4

2020 March 13

A

AndroS in Moscow Spark

ребят, наверное уже сталкивались с таким. В hive была изменена meta информация таблицы. Spark видит старую версию. Как его пропушить?

источник

16:48пожаловаться #5

K

KrivdaTheTriewe in Moscow Spark

Ребят, не могу понять, from_csv c версии или я чот туплю
https://github.com/apache/spark/pull/22379/files#diff-80a6da9ac9681594543c70c837b12641

[SPARK-25393][SQL] Adding new function from_csv() by MaxGekk · Pull Request #22379 · apache/spark

What changes were proposed in this pull request?
The PR adds new function from_csv() similar to from_json() to parse columns with CSV strings. I added the following methods:
def from_csv(e: Column,...

источник

16:56пожаловаться #6

K

KrivdaTheTriewe in Moscow Spark

при этом в R https://spark.apache.org/releases/spark-release-2-4-0.html

источник

16:57пожаловаться #7

K

KrivdaTheTriewe in Moscow Spark

SparkR

Major features
[SPARK-25393] Adding new function from_csv()

источник

16:57пожаловаться #8

LK

Leonid Krylov in Moscow Spark

ребят, наверное уже сталкивались с таким. В hive была изменена meta информация таблицы. Spark видит старую версию. Как его пропушить?

spark.catalog.refreshTable("my_table") речь об этом?

источник

17:02пожаловаться #9

С

Сюткин in Moscow Spark

spark.sql('MSCK REPAIR TABLE table_name')

источник

17:04пожаловаться #10

A

AndroS in Moscow Spark

Сюткин

spark.sql('MSCK REPAIR TABLE table_name')

Это пробовал не помогло

источник

17:05пожаловаться #11

A

AndroS in Moscow Spark

spark.catalog.refreshTable("my_table") речь об этом?

тоже нет

источник

17:09пожаловаться #12

A

AndroS in Moscow Spark

такое ощущение, что spark у себя где-то хранит мета информацию, отличную от hive

источник

17:09пожаловаться #13

NN

No Name in Moscow Spark

Сюткин

spark.sql('MSCK REPAIR TABLE table_name')

А чем от refresh table отличается?

источник

17:25пожаловаться #14

SS

Svetlana Skorikova in Moscow Spark

такое ощущение, что spark у себя где-то хранит мета информацию, отличную от hive

Сталкивалась с такой же ситуацией.
spark.sql("refresh table my_table") помогал
вместо my_table пишешь номер_дб.имя_таблицы, как в обычных запросах.

источник

17:29пожаловаться #15

SS

Svetlana Skorikova in Moscow Spark

такое ощущение, что spark у себя где-то хранит мета информацию, отличную от hive

так и есть

источник

17:30пожаловаться #16

A

AndroS in Moscow Spark

пробовал, не помогло :(

источник

17:30пожаловаться #17

A

AndroS in Moscow Spark

пока откатился

источник

17:31пожаловаться #18

2020 March 16

IK

Ilya Kozyrev in Moscow Spark

Привет. Звучит бредом, но можно ли в Spark SQL проверить существует ли колонка. Нужно что то вроде

case when 
if_exists(colName)
then
...

Датафреймом в данной ситуации я пользоваться не могу, чисто SQL

источник

16:52пожаловаться #19

ИК

Иван Калининский... in Moscow Spark

Привет. Звучит бредом, но можно ли в Spark SQL проверить существует ли колонка. Нужно что то вроде

case when 
if_exists(colName)
then
...

Датафреймом в данной ситуации я пользоваться не могу, чисто SQL

Посоветовал бы sparkSession.catalog, но раз уж датафрейма нет, то и каталога тоже нет))

источник

16:55пожаловаться #20