С
А почему не можешь df?
Сделай collect на limit 1 проверь на поле а дальше через переменную
Сделай collect на limit 1 проверь на поле а дальше через переменную
Size: a a a
2020 March 16
IK
потому что занимаюсь кодогенерацией по конфигам в SQL =) Нужно минимизировать логику вне конфигов.
АБ
Всем привет! Подскажите, пожалуйста, есть ли в pyspark аналог sklearn.metrics.pairwise_distances, или нужно вручную создавать?
P.S. нагуглить не получается
P.S. нагуглить не получается
ИК
потому что занимаюсь кодогенерацией по конфигам в SQL =) Нужно минимизировать логику вне конфигов.
Пробуй
explain select * from table_or_view
Получившийся вывод нужно будет парсить и искать в нем название поля. Как это сделать в чистом SQL не представляю, но может удача улыбнется^^
explain select * from table_or_view
Получившийся вывод нужно будет парсить и искать в нем название поля. Как это сделать в чистом SQL не представляю, но может удача улыбнется^^
IK
ахах, спасибо)) Извращением тут занимаюсь
R
ахах, спасибо)) Извращением тут занимаюсь
если я не ошибаюсь и если метаданные лежат в hive, то можно напрямую в хайвовую табличку кинуть запрос типа:
select count(1) from metadata_table where table_name = some and column_name = some
R
но как называется эта metadata_table я не помню хоть убей, надо чекнуть
R
в крайнем случае - подключиться через SparkSQL по jdbc к этой хайв бд и посмотреть что там в ней есть
2020 March 17
C
Tesla News has been banned! Reason: CAS ban.
ЕГ
ребят, наверное уже сталкивались с таким. В hive была изменена meta информация таблицы. Spark видит старую версию. Как его пропушить?
Не надо так(
ЕГ
Потом два года будете разгребать
ЕГ
Лучше старую переименовать, создать новую со старым именем, и залить в неё данные из старой
ЕГ
Иначе там может один баг хайва на другой наложиться, вообще читаться данные не будут
A
Евгений Глотов
Иначе там может один баг хайва на другой наложиться, вообще читаться данные не будут
Да, я уже понял. Будем переделывать. Объём большой)
ЕГ
Да, я уже понял. Будем переделывать. Объём большой)
Чем больше объём, тем больше потом разгребать...)
2020 March 18
ПФ
Привет! У меня сложный вопрос: кто понимает как контролируется спарковый кодген? Я пишу кастомный сериалайзер, но у меня почему-то вместо правильного моего типа в сгенерированном коде фигурирует InternalRow. Куда смотреть?
N
Вопрос не совсем понятен. Он и должен же быть InternalRow
ПФ
Nikolay
Вопрос не совсем понятен. Он и должен же быть InternalRow
Разве? То есть case классы тоже выглядят как InternalRow?
ПФ
Тогда я не знаю как там работает аналог вот такого:
/* 046 */ funcResult_0 = value_3.getId();
ПФ
Если value_3 — это InternalRow то понятно что никакого getId() у него нет