DZ
Vladimir Prus
Есть готовый образ - gcr.io/spark-operator/spark:v3.0.0-hadoop3
30/07 релиз был, они не спешат канешн
Size: a a a
2020 September 10
2020 September 11
SE
Ребят, кто нибудь передавал джисоны из спарка в эластиксерч?
DZ
Да
ПФ
спасибо
С
Игорь Гомановский
В той же задаче, мы обучаем модель, и сохраняем ее саму и ее метрики (массив структур).
Удобно для отправки в REST сервис
Удобно для отправки в REST сервис
Так так расскажешь потом при встрече подробности?)
SE
import org.elasticsearch.spark.sql._
import org.apache.spark.sql.SparkSession
import org.apache.spark.SparkConf
val sparkConf = new SparkConf().set("es.index.auto.create", "true").set("es.port", "9200").set("es.nodes", "arm-elastic-1-vm.dev.ix.km")
val sparkSession = SparkSession.builder.config(sparkConf).appName("WriteToES").getOrCreate()
val df = sparkSession.read.format("json").json("/tmp/Gold_record.json")
df.saveToEs("spark/GR")
вылетает ошибка : org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot detect ES version - typically this happens if the network/Elasticsearch cluster is not accessible or when targeting a WAN/Cloud instance without the proper setting 'es.nodes.wan.only'
Подскажите может кто сталкивался \ как решали?
import org.apache.spark.sql.SparkSession
import org.apache.spark.SparkConf
val sparkConf = new SparkConf().set("es.index.auto.create", "true").set("es.port", "9200").set("es.nodes", "arm-elastic-1-vm.dev.ix.km")
val sparkSession = SparkSession.builder.config(sparkConf).appName("WriteToES").getOrCreate()
val df = sparkSession.read.format("json").json("/tmp/Gold_record.json")
df.saveToEs("spark/GR")
вылетает ошибка : org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot detect ES version - typically this happens if the network/Elasticsearch cluster is not accessible or when targeting a WAN/Cloud instance without the proper setting 'es.nodes.wan.only'
Подскажите может кто сталкивался \ как решали?
NM
Комрады, подскажите - доклады с митапов сохраняются?
В ноябре 2019 был мощный доклад про юнит-тестирование в спарке от ребят из теле2
В ноябре 2019 был мощный доклад про юнит-тестирование в спарке от ребят из теле2
SM
Guys
а не подскажете можно ли в
писать несколько url
в моём случае url'ы до нод clickhous'a
т.е. типо
а не подскажете можно ли в
spark.write.option("url", ...)писать несколько url
в моём случае url'ы до нод clickhous'a
т.е. типо
"jdbc:clickhouse://<URL>:<PORT>,jdbc:clickhouse://<URL2>:<PORT2>"ME
Guys
а не подскажете можно ли в
писать несколько url
в моём случае url'ы до нод clickhous'a
т.е. типо
а не подскажете можно ли в
spark.write.option("url", ...)писать несколько url
в моём случае url'ы до нод clickhous'a
т.е. типо
"jdbc:clickhouse://<URL>:<PORT>,jdbc:clickhouse://<URL2>:<PORT2>"А что ожидаете в результате?
ME
Сложить df в два ch?
SM
ээ
ME
Или все ноды указаать?
SM
к примеру ds партицирован по date
хочу чтобы по нодам равномерно распределилось
этот кусок - в это CH ноду, этот в другую
автоматически
хочу чтобы по нодам равномерно распределилось
этот кусок - в это CH ноду, этот в другую
автоматически
ME
Но для этого уже на уровне CH есть партиционирование таблиц
ME
ME
Сделайте в таблице custom partition key и ch сам будет этим заниматься
ME
А данные можно сливать в любой бекенд
ME
А несколько хостов можно указать вот так:
jdbc:clickhouse://localhost:1234,another.host.com:4321/ppc, судя по коду тестов https://github.com/ClickHouse/clickhouse-jdbc/blob/c37e208403a075799ce787f4cf6d40911189cd81/src/test/java/ru/yandex/clickhouse/settings/ClickHousePropertiesTest.java#L107
SM
А несколько хостов можно указать вот так:
jdbc:clickhouse://localhost:1234,another.host.com:4321/ppc, судя по коду тестов https://github.com/ClickHouse/clickhouse-jdbc/blob/c37e208403a075799ce787f4cf6d40911189cd81/src/test/java/ru/yandex/clickhouse/settings/ClickHousePropertiesTest.java#L107Аа
Интересно
Спасибо
В любом случае эксперименты покажут как можно, как нельзя
Интересно
Спасибо
В любом случае эксперименты покажут как можно, как нельзя
ME
Аа
Интересно
Спасибо
В любом случае эксперименты покажут как можно, как нельзя
Интересно
Спасибо
В любом случае эксперименты покажут как можно, как нельзя
Welcome.
Если хотите делать это на стороне спарка, то надо DF разделять на несколько и каждый писаать в свой CH.
Но если вы хотите именно партиционирования, то лучше это делать в CH.
Если хотите делать это на стороне спарка, то надо DF разделять на несколько и каждый писаать в свой CH.
Но если вы хотите именно партиционирования, то лучше это делать в CH.