GP
ладно я сегодня вечером посмотрю бота какого притащу
Size: a a a
2020 June 01
NN
ладно я сегодня вечером посмотрю бота какого притащу
Было бы здорово
С
ладно я сегодня вечером посмотрю бота какого притащу
Потом расскажи как назовёшь маленького)
С
Можно его назвать Илоном и он будет банить предложения о Тесла блокчейне
С
2020 June 02
l
вы указываете в явном виде что вернется из pandas_udf в декораторе (пример):
from pyspark.sql.functions import pandas_udf, PandasUDFType
@pandas_udf("id long, v double", PandasUDFType.GROUPED_MAP)
def subtract_mean(pdf):
# pdf is a pandas.DataFrame
v = pdf.v
return pdf.assign(v=v - v.mean())
В итоге получилось вернуть модель в виде текста. Можно сделать через lgbm.Booster.model_to_string или через pickle.dumps()
NN
Дамы и господа, позвольте нубский вопрос по мемори менеджменту - как используется в экзекуторе юзер мемори?
GP
Дамы и господа, позвольте нубский вопрос по мемори менеджменту - как используется в экзекуторе юзер мемори?
юзер мемори?
NN
юзер мемори?
Ага. Неоднократно встречал упоминания о ней, но с минимальными пояснениями о том, для чего она.
NN
юзер мемори?
GP
тут имеется ввиду что это память которая тебе доступна для операций после того что спарк на свои нужды отожрет
NN
тут имеется ввиду что это память которая тебе доступна для операций после того что спарк на свои нужды отожрет
Ну, погоди. Ты хочешь сказать, что они так обозвали часть памяти, которая мне не понадобилась?
GP
Ну, погоди. Ты хочешь сказать, что они так обозвали часть памяти, которая мне не понадобилась?
ну над конкретно с автором картинки собжудать
GP
вообще да мне кажется это память которую ты можешь использовать чтоб
GP
не знаю агругаци написать какуюто и вот хешмапа будет жить в этой юзер мемори
GP
но ты проверь с автором картинки что он имеет ввиду
NN
не знаю агругаци написать какуюто и вот хешмапа будет жить в этой юзер мемори
Ну вот похоже, что так. Самое подробное описание из того, что я находил про нее :
"Lets say, you can store your own data structures in memory that would be used in RDD transformations or you want to write a user defined Spark Aggregation by using mapPartitions transformation maintaining hash table for this aggregation, all that will consume so called User Memory"
"Lets say, you can store your own data structures in memory that would be used in RDD transformations or you want to write a user defined Spark Aggregation by using mapPartitions transformation maintaining hash table for this aggregation, all that will consume so called User Memory"
GP
ну короч он чет свое значил