ПФ
Оооо, точно. Придумал лучше
Size: a a a
2020 June 14
ПФ
Тебе нужно jgroups
K
Над глянуть будет
ПФ
Там дискавери через мультикаст
K
В мск вернусь и попробую поковыряли спарк юай и то что ты сказал
K
Мне прост над узнать где крутится апп мастер и запроксировать запросы к сервису
ПФ
Его jboss использует для дискавери в кластере
N
ребят , кто нить вместе со спарк приложухой подымает вебсервер в ярне, поделитесь опытом?
а какая у тебя изначально задача стоит? Т.е что веб сервер этот позволит решать?
K
Nikolay
а какая у тебя изначально задача стоит? Т.е что веб сервер этот позволит решать?
Круиз контроль хочу сделать для стриминга
PK
@tenKe ты как делаешь?
t
на драйвере апи сервис поднимаю
t
ну и надо хранить адреса драйверов и spark ui у них где-то в одном месте
t
чтоп дискавери делать
2020 June 16
ПФ
Привет всем!
Мы рады представить Spark API для Kotlin, над которым мы долгое время работали: https://github.com/JetBrains/kotlin-spark-api.
Сейчас API находится на стадии beta-тестирования, но мы планируем сделать PR в официальный репозиторий Apache Spark, поэтому нам очень нужен фидбек, чтобы PR отражал не только наше понимание того, что нужно, но также учитывал пожелания конечных пользователей.
Чем хорош Kotlin Spark API? Хотя вы уже давно можете использовать Java API из Kotlin, Kotlin Spark API даёт вам доступ к API, более напоминающий Scala, чем Kotlin, а также даёт вам использовать удобные штуки типа дата классов и лямбд.
Кроме того, Kotlin Spark API добавляет несколько удобных extension функций вроде
Kotlin Spark API добавляет возможность работать с неименованными кортжами с помощью функции
Посмотреть quick start с использованием Maven или Gradle можно тут: https://github.com/JetBrains/kotlin-spark-api/blob/master/docs/quick-start-guide.md
А несколько разнообразных примеров использования тут: https://github.com/JetBrains/kotlin-spark-api/tree/master/examples/src/main/kotlin/org/jetbrains/spark/api/examples
Попробуйте и поделитесь своим мнением с нами в канале #kotlin-spark, или в GitHub Issues: https://github.com/JetBrains/kotlin-spark-api/issues.
Мы рады представить Spark API для Kotlin, над которым мы долгое время работали: https://github.com/JetBrains/kotlin-spark-api.
Сейчас API находится на стадии beta-тестирования, но мы планируем сделать PR в официальный репозиторий Apache Spark, поэтому нам очень нужен фидбек, чтобы PR отражал не только наше понимание того, что нужно, но также учитывал пожелания конечных пользователей.
Чем хорош Kotlin Spark API? Хотя вы уже давно можете использовать Java API из Kotlin, Kotlin Spark API даёт вам доступ к API, более напоминающий Scala, чем Kotlin, а также даёт вам использовать удобные штуки типа дата классов и лямбд.
Кроме того, Kotlin Spark API добавляет несколько удобных extension функций вроде
withCached, которая даёт вам возможность вызывать произвольные конвейеры обработки на датасете без необходимости несколько раз пересчитывать данные, а также без страха забыть вызвать на этих данных unpersist. Kotlin Spark API добавляет возможность работать с неименованными кортжами с помощью функции
c(). Более того, их даже можно складывать как в Python!Посмотреть quick start с использованием Maven или Gradle можно тут: https://github.com/JetBrains/kotlin-spark-api/blob/master/docs/quick-start-guide.md
А несколько разнообразных примеров использования тут: https://github.com/JetBrains/kotlin-spark-api/tree/master/examples/src/main/kotlin/org/jetbrains/spark/api/examples
Попробуйте и поделитесь своим мнением с нами в канале #kotlin-spark, или в GitHub Issues: https://github.com/JetBrains/kotlin-spark-api/issues.
DZ
withCached — котлинисты придумали Resource ?DZ
как компоузить два заперсищеных дс?
ПФ
withCached — котлинисты придумали Resource ?Ну таки по умолчанию оно не AutoCloseable же :)
DZ
Ну таки по умолчанию оно не AutoCloseable же :)
я скорее про