Sa
Точнее так Андрюха делает код ревью программ на pyspark
Когда кто-то пишет код не на scala, в мире расстраивается один Андрюха)
Size: a a a
2020 April 21
ЕГ
Слишком просто) у spark sql ограниченный функционал, в хайв не все запросы провалидируются правильно
Вы переводите запросы с хайва на спарк скл?
ЕГ
А зачем блокировать валидацию, запрос ведь не запустится всё равно, некоторые хайвовские штуки никак на спарк скл не запустить, хотя оно и не сильно надо
Sa
Евгений Глотов
Вы переводите запросы с хайва на спарк скл?
Ожидание было, что можно выполнить своеобразный sql на spark без hive jdbc
ЕГ
Ожидание было, что можно выполнить своеобразный sql на spark без hive jdbc
Насколько своеобразный? Может конвертер написать?
Sa
Евгений Глотов
Насколько своеобразный? Может конвертер написать?
При создании таблиц в hive прописываются особые raw format serde и stored by
Sa
Евгений Глотов
Насколько своеобразный? Может конвертер написать?
Насчёт конвертера не понимаю
ЕГ
При создании таблиц в hive прописываются особые raw format serde и stored by
Насколько специфические там серде?
Sa
Евгений Глотов
Насколько специфические там серде?
CREATE TABLE cardata_remote ROW FORMAT SERDE 'com.teradata.querygrid.qgc.hive.QGSerDe' STORED BY'com.teradata.querygrid.qgc.hive.QGStorageHandler' TBLPROPERTIES ( "link"="hive_to_td_link", "version"="active", "table"="ut1.cardata");
ЕГ
CREATE TABLE cardata_remote ROW FORMAT SERDE 'com.teradata.querygrid.qgc.hive.QGSerDe' STORED BY'com.teradata.querygrid.qgc.hive.QGStorageHandler' TBLPROPERTIES ( "link"="hive_to_td_link", "version"="active", "table"="ut1.cardata");
Ух жёска, а их нужно просто проигнорить, или исполнить так, чтобы работало?
Sa
Евгений Глотов
Ух жёска, а их нужно просто проигнорить, или исполнить так, чтобы работало?
Исполнить хотелось бы через spark.sql
ЕГ
Исполнить хотелось бы через spark.sql
Можно попробовать использовать create table using:
https://docs.databricks.com/spark/latest/spark-sql/language-manual/create-table.html
https://docs.databricks.com/spark/latest/spark-sql/language-manual/create-table.html
ЕГ
Тблпропертис там есть, но по-моему некоторые из них игнорятся, ещё есть options, в них можно попробовать записать
K
а кто-нибуд делал аппликуху по запуску стримовых кверей с разными тригерами динамически?
R
а кто-нибуд делал аппликуху по запуску стримовых кверей с разными тригерами динамически?
Мы пробовали так делать, но честно говоря это очень неудобно оказалось, в первую очередь из за управления ресурсами между разными одновременными стримами внутри одного spark app.
В итоге от этого подхода отказались в пользу идеи один кластер - один джоб - один стрим.
В итоге от этого подхода отказались в пользу идеи один кластер - один джоб - один стрим.
K
ну значит похороню пока эту идею
K
еще вопрос , что с динамическим управлением у структурного стриминга сейчас, нормально или все плохо?
R
еще вопрос , что с динамическим управлением у структурного стриминга сейчас, нормально или все плохо?
а что ты имеешь в виду под "динамическим управлением"? методы вроде .awaitTermination / .stop /.start ?
K
ну выделение, освобождение экзекьюторов под запрос
K
динамиечское