может на другой диске запустите код

Я же правильно понимаю, что количество столбцов превысило максимальное значение типа int32 - 2млрд 147 млн? У вас больше столбцов при транспонировании?! 😳

Не настолько много) Тут в некоторых issue на гитхабе такая проблема возникает и с меньшим количеством

А решения так и нет

Может количество ячеек фрейма достигает такого количества? И при транспонировании он пытается их все записать в память. Но больше int32 не влезает...

А что если поделить фрейм на чанки, транспонировать, а потом объединить джоином?

Да, хорошая идея,нужно попробовать. Спасибо

;)

Строка на 700 тыс не транспонируется(

Так надо мельче, получается

Или я неправильно понял

Меньшее количество строк, больше чанков

Знать бы заранее насколько мельче 😃

привет!
Есть два датафрейма, один — "справочник", второй - содержит список действий.
Задача: объединить один со вторым и превратить во вложенный JSON.
Вот пример того как это должно работать: https://colab.research.google.com/drive/1PWTpjuOYvgvDhgrqzyz-Yh07dpNMknuJ#scrollTo=HDwoLSn-6fHx
Загвоздка в том, что это решение начинает жрать кучу времени, как только "справочник" разрастается до нескольких тысяч значений. Чувствую, что есть более эффективный вариант решения задачи, но нагуглить ничего не удалось пока что

Можно доступ?

там можно копию сделать, как в гуглодоке - "open in playground" / "copy to drive"

получилось уменьшить время выполнения, если предварительно сгруппировать таблицу со значениями и брать оттуда датафреймы через .get_group():

grouped = values_df.groupby('a')
lookup_df['values'] = lookup_df['lookup_value'].apply(lambda x: grouped.get_group(x).to_dict(orient='records'))
lookup_df.to_json(orient='records')

grouped = values_df.groupby('a')
lookup_df['values'] = lookup_df['lookup_value'].apply(lambda x: grouped.get_group(x).to_dict(orient='records'))
lookup_df.to_json(orient='records')

numpy быстрый, может через него часть операций?

Там, насколько я понимаю, бОльшую часть времени выполняется get_group, т.к. он для каждой строки отрабатывает. Не думаю, что через numpy можно как то это сделать.
Я пытался без apply сделать, но ничего не вышло

привет. кто-нибудь имел успешный опыт вытягивания названий столбцов из кликхауса через sqlalchemy? дичь какую-то отдаёт в res.keys() , а параметр with_column_types не работает.