ПФ
В общем я бы не бежал ставить 3.1.0 на прод
Size: a a a
2021 January 07
2021 January 10
GP
что за спам такой странный интересно
GP
они паблик может рекламят какойто
Oא
познавательный
2021 January 13
ВК
Добрый день.
Подскажите, запускаю модель lgbm на спарке (mmlspark). Два раза обучаю модель на одних и тех же данных и два раза делаю предсказание. Получаю два разных результата. Они отличаются не сильно, но отличаются. В чем может быть проблема?
Подскажите, запускаю модель lgbm на спарке (mmlspark). Два раза обучаю модель на одних и тех же данных и два раза делаю предсказание. Получаю два разных результата. Они отличаются не сильно, но отличаются. В чем может быть проблема?
AS
Добрый день.
Подскажите, запускаю модель lgbm на спарке (mmlspark). Два раза обучаю модель на одних и тех же данных и два раза делаю предсказание. Получаю два разных результата. Они отличаются не сильно, но отличаются. В чем может быть проблема?
Подскажите, запускаю модель lgbm на спарке (mmlspark). Два раза обучаю модель на одних и тех же данных и два раза делаю предсказание. Получаю два разных результата. Они отличаются не сильно, но отличаются. В чем может быть проблема?
Slightly different result between runs
This could happen, due to non-determinism in floating point summation order and multi-threading. Though the general accuracy will usually remain the same.
плюс, вы random.seed выставляете одним и тем же?
This could happen, due to non-determinism in floating point summation order and multi-threading. Though the general accuracy will usually remain the same.
плюс, вы random.seed выставляете одним и тем же?
ВК
Slightly different result between runs
This could happen, due to non-determinism in floating point summation order and multi-threading. Though the general accuracy will usually remain the same.
плюс, вы random.seed выставляете одним и тем же?
This could happen, due to non-determinism in floating point summation order and multi-threading. Though the general accuracy will usually remain the same.
плюс, вы random.seed выставляете одним и тем же?
а где random.seed устанавливается? в локальной версии lgbm есть параметр random_seed. а в спарк версии его нет (есть параметр baggingSeed но он не помогает).
AS
а где random.seed устанавливается? в локальной версии lgbm есть параметр random_seed. а в спарк версии его нет (есть параметр baggingSeed но он не помогает).
видимо его нет, кроме того даже локально никто не гарантирует что результаты буду повторяться, а тут я думаю после этого уже можно дальше не смотреть
https://github.com/Azure/mmlspark/blob/master/src/main/scala/com/microsoft/ml/spark/lightgbm/LightGBMBase.scala#L31
https://github.com/Azure/mmlspark/blob/master/src/main/scala/com/microsoft/ml/spark/lightgbm/LightGBMBase.scala#L31
A
видимо его нет, кроме того даже локально никто не гарантирует что результаты буду повторяться, а тут я думаю после этого уже можно дальше не смотреть
https://github.com/Azure/mmlspark/blob/master/src/main/scala/com/microsoft/ml/spark/lightgbm/LightGBMBase.scala#L31
https://github.com/Azure/mmlspark/blob/master/src/main/scala/com/microsoft/ml/spark/lightgbm/LightGBMBase.scala#L31
в самом lightgbm локально в однопоточном режиме при зафиксированных сидах все отлично повторяется
AS
А в многопоточном?
2021 January 15
ВК
а кто знает хороший курс по спарку на русском?
С
а кто знает хороший курс по спарку на русском?
Попробуй newprolab
ПФ
Не то чтобы есть варианты кроме него )
ВК
а курс от bigdataschool никто не проходил? посмотрел видео их на ютубе вроде норм...
e
Сюткин
Попробуй newprolab
Курс прекрасный ) когда есть рядом сеньер который поможет его пройти. 😂 но да , задаёт планку и мотивирует изучать )
AK
Сюткин, у тебя был синьор под боком?)
РП
а синьорита?
AK
Так вот как на 100% курсы проходят...
С
Сюткин, у тебя был синьор под боком?)
Хм... было желание пройти испытательный срок много лет назад
Синьорит я тогда не знал
Синьорит я тогда не знал
PK
