AA
возвращает
Size: a a a
2018 November 20
AA
колонки без путей нормально селектит. Мне надо от них избавится? или как-то конфигом можно поправить?
PK
В смысле столбец так называется?
PK
Anton Alekseev
cannot resolve '`\server.local\A`' given input columns
В этом примере просто используется точечная нотация и спарк думает, что у тебя столбец server это StructType у которого есть поле local
PK
Но вообще не могу себе представить, зачем называть столбцы путями до файлов
AA
В смысле столбец так называется?
да, это имя столбца
AA
Но вообще не могу себе представить, зачем называть столбцы путями до файлов
Такое бывает когда приходится обработывать снапшоты файловых систем
PK
Т.е. если у тебя 10к файлов в дире, то будет датафрейм с 10к колонок?
AA
Т.е. если у тебя 10к файлов в дире, то будет датафрейм с 10к колонок?
угу
AA
Я уже знаю что будет попа с перфомансом из-за кол столбцов
PK
Anton Alekseev
угу
Адище какое, а почему нельзя создать столбец path и туда пути писать? Как тебе помогает такая широкая таблица?
AA
Кластеризация пользователей нужна
PK
Anton Alekseev
Кластеризация пользователей нужна
Это не ответ на вопрос )
AA
Это не ответ на вопрос )
индексы - юзеры, колонки - пути, пересечение - магическое число) Нужно провести кластеризацию
AA
Для того же кминс нужен вектор
AA
к которому я опосля привожу
AA
Первоначально все так и было как вы написали. Но алгоритм это не переварит.
PK
Ну ты просто, ка бы, облегчаешь себе жизнь, чтоб попроще VectorAssembler вызывать? )
AA
Ну ты просто, ка бы, облегчаешь себе жизнь, чтоб попроще VectorAssembler вызывать? )
я уже поднимал эту тему. Решения тут я не получил) https://stackoverflow.com/questions/48880934/performance-decrease-for-huge-amount-of-columns-pyspark
SK
Anton Вектор на словах, слова это пути...., пиши свой парсер в каунт векторайзер