SK
Не вижу смысла писать столько столбцов
Size: a a a
2018 November 20
AA
Anton Вектор на словах, слова это пути...., пиши свой парсер в каунт векторайзер
я по сути так и сделал через мап
SK
Ну дык есть же готовый класс в спарке
AA
Не вижу смысла писать столько столбцов
Но сейчас мне такие данные прилетают, надо починять)
SK
Хэш правда
PK
В общем, отвечая на твой вопрос, вот
df = spark.createDataFrame([[1], [2]], schema=["a.b"])
df["`a.b`"]
Column<b'a.b'>
df = spark.createDataFrame([[1], [2]], schema=["a.b"])
df["`a.b`"]
Column<b'a.b'>
AA
Ну дык есть же готовый класс в спарке
Можно ссылку? не понял о чем вы.
SK
Anton Alekseev
Можно ссылку? не понял о чем вы.
Ну в смысле раньше вроде в спарке был только хэш векторайзер, сейчас вроде есть уже каунт векторайзер
AA
В общем, отвечая на твой вопрос, вот
df = spark.createDataFrame([[1], [2]], schema=["a.b"])
df["`a.b`"]
Column<b'a.b'>
df = spark.createDataFrame([[1], [2]], schema=["a.b"])
df["`a.b`"]
Column<b'a.b'>
вообщем реплейсить слеш)
SK
Anton Alekseev
вообщем реплейсить слеш)
В каунтвектррайзере есть встроенный парсер, его надо поменять на твой слеш
AA
В каунтвектррайзере есть встроенный парсер, его надо поменять на твой слеш
щас почитаем
SK
Anton Alekseev
щас почитаем
В официальном доке пример со сплитом, ну тогда сплит по слешу или что там ещё
AA
В официальном доке пример со сплитом, ну тогда сплит по слешу или что там ещё
Ещё раз опишу структуру данных. Таблица где индекс это юзер, колонка это путь к файлу, пересечение какое-то число (ни из пути ни из юзера не получить его). Необходимо сперва препроцессинг, потом вектор ассемблер не нарушая порядки колонок (получим индекс юзер, и вектор в соответствии, итого 2 колонки), и это уже в ml модуль спарка для кластеризации и дальнейших телодвижений.
AA
так что каунтвекторайзер мне тут не поможет
SK
А порядок зачем?
PK
Anton Alekseev
так что каунтвекторайзер мне тут не поможет
Поможет, если все файлики пользователя будут в одном столбце как строчка с разделителями хранится
SK
Порядок колонок имеется в виду
PK
Тебе же по факту от этой шняги нужен бинарный признак, есть файл у пользователя или нет. Или ты по ним какую-то отдельную стату считаешь?
AA
А порядок зачем?
имеется ввиду один порядок для всех пользователей, а как отсортирован не важно
SK
Ну тогда не вижу проблем сделать именно тк как Павел выше описал