λ
@shelajevoleg че даже через трюфель интерпретировать нельзя ?)))
Ну зато, наверное, можно было бы избавится от этапа с janino и запускать сразу в GraalVM.
Мне кажется это и имел ввиду Олег
Size: a a a
2020 June 03
OS
Я не очень понимаю сетап
OS
Вычисление на сервере или там где апи?
A
Ну для честности вычисления и не запускаются локально и код генерится на драйвере
Да и после запуска у спарка есть рест апи
Но если у тебя локально драйвер запускается то тут уже не отвертишься
Да и после запуска у спарка есть рест апи
Но если у тебя локально драйвер запускается то тут уже не отвертишься
A
Для какого демо часто делают запуск локал и вместо воркеров выделяют несколько потоков
A
Хорошо для всяких демо и проверок что все работает
A
Ну зато, наверное, можно было бы избавится от этапа с janino и запускать сразу в GraalVM.
Мне кажется это и имел ввиду Олег
Мне кажется это и имел ввиду Олег
Вот кроме как для демо или попытки в лямбду запихнуть я слабо представляю зачем это надо :) вообще если посмотреть профили спарк приложений то обычно узкие места
1) работа с io, там даже отдельные драйвера под отдельные форматы данных с написанной векторизацией и тд
2) вычисления, которые почти всегда с кодогенерации
3) сериализации/десериализация данных, иногда кодеген, иногда ручная писанина
В нативку собрать интересно было бы чтобы потом по разным наборам данных долбить и проверять какие валидные и как себя что ведет (пришли новые данные, скормил их cli, оно локально за пару секунд отмолола и выдала результат)
Но вот сколько в этом смысла хз
1) работа с io, там даже отдельные драйвера под отдельные форматы данных с написанной векторизацией и тд
2) вычисления, которые почти всегда с кодогенерации
3) сериализации/десериализация данных, иногда кодеген, иногда ручная писанина
В нативку собрать интересно было бы чтобы потом по разным наборам данных долбить и проверять какие валидные и как себя что ведет (пришли новые данные, скормил их cli, оно локально за пару секунд отмолола и выдала результат)
Но вот сколько в этом смысла хз
I
интересно — это ишшуе надо сделать
а можешь глянуть, пожалуйста, может это я что-то принципиально не так делаю?
https://github.com/zboigor/graalvm-sandbox
https://github.com/zboigor/graalvm-sandbox
I
прежде чем я создам ишью :)
OS
На вид ок, ты запускаешь с агентом и потом образ билдится и падает?
I
На вид ок, ты запускаешь с агентом и потом образ билдится и падает?
Да
I
Сейчас вот добавляю по одному
OS
Ну могло бы работать, значит баг где-то
I
Понял, заведу ишью тогда, спасибо
OS
Вот кроме как для демо или попытки в лямбду запихнуть я слабо представляю зачем это надо :) вообще если посмотреть профили спарк приложений то обычно узкие места
1) работа с io, там даже отдельные драйвера под отдельные форматы данных с написанной векторизацией и тд
2) вычисления, которые почти всегда с кодогенерации
3) сериализации/десериализация данных, иногда кодеген, иногда ручная писанина
В нативку собрать интересно было бы чтобы потом по разным наборам данных долбить и проверять какие валидные и как себя что ведет (пришли новые данные, скормил их cli, оно локально за пару секунд отмолола и выдала результат)
Но вот сколько в этом смысла хз
1) работа с io, там даже отдельные драйвера под отдельные форматы данных с написанной векторизацией и тд
2) вычисления, которые почти всегда с кодогенерации
3) сериализации/десериализация данных, иногда кодеген, иногда ручная писанина
В нативку собрать интересно было бы чтобы потом по разным наборам данных долбить и проверять какие валидные и как себя что ведет (пришли новые данные, скормил их cli, оно локально за пару секунд отмолола и выдала результат)
Но вот сколько в этом смысла хз
Кластер делает вычисления и бежит с джитом и все хорошо. Клиента хочется собрать в native-image чтобы он быстро запускался. Что делает клиент?
A
Нету у спарка как таковое клиента
OS
Вот поясни пожалуйста этот момент как это все работает
OS
И каким образом здесь как-то native-image. Что хочется собрать?
OS
Ну я сделал kotlin-spark-api. Он отлично работате локально, но это занимает кучу времени. А я бы хотел показать демо того, как он эот может делать быстро
Котлин-native пробовал?