Нет, мне в конечном итоге надо сделать процессинг и из фрейма

..       server\file1  server\file2  server\file3
User1             1             2             3
User2             5             7             9
User3             1             7           100

получить

..          vector
User1    [1, 2, 3]
User2    [5, 7, 9]
User3  [1, 7, 100]

Это делается векторассемблером

НО перед этим надо отпроцессить этот датафрейм, и поэтому надо разобраться с названиями колонок

и как вы уже написали надо их модифицировать чтобы можно было делать селект

и как тут можно применить countvectorizer, я не понял)

Ну да, у тебя получается какая-то другая стата по файликам считается, ну тогда сам бог велел VectorAssembler(df.schema.fieldNames, "features")

А как в структурном стриминге сделать такую штутку. У меня есть два output стрима, которые консьюмят один инпут стрим. Но в инпут стриме есть трансформация, которая генерирует уникальные айдишники для Row. В батчевой джобе это кэшированием решается, а как в структурном стриминге поступить, чтобы эти айдишники не менялись в двух output стримах?

Добрый день. Не могли бы вы скинуть что прочитать по тому как можно вытащить уникальные значения из всего датафрейма. Пока сделал так, наверняка можно оптимальнее

from itertools import chain
vals = df_new.select(*(collect_set(c).alias(c) for c in df_new.columns if c != 'User')).collect()[0].asDict().values()
unique_values = set(chain.from_iterable(vals))

Привет, ты снова продолжаешь гнаступать на грабли со своей адской табличкой )) Может, все же, сделать три колонки: User, Path, Statistic. Тогда жизнь действительно сильно упростится ))

Опять же непонятно, зачем тебе спарк, если ты все равно коллектишь все на драйвер )

Сколлектил я потому как через питон знал как уники вытащить и смерджить значения дикта. А вообще я понимаю что это не обязательно, все из-за незнания. Примеры на стаке сводятся к дистинкту от колонки, вот и не нагуглил))

Просто как то обидно что приходит уже почти готовый формат который немного подлатать и в модели, думал обойтись малой кровью, но уже задумываюсь, чтобы опять разворачивать процессить и сворачивать.

А че с дистинктом не так?

Типа df.select('*').distinct()

все с ним хорошо, но мы получим датафрейм с уникальными строками, я бы хотел получить набор уникальных значений со всего фрейма.

Типа union по всем колонкам и потом дистинкт?

Это не тот union что в доке спарка? Если вы имеете в виду конкатенацию колонок в одну и взятие distinct от неё, то да.

Ну да, мы же вроде про спарк сейчас

Ммм, найс так явно проще

from functools import reduce
from pyspark.sql import DataFrame
def unionAll(*dfs):
    return reduce(DataFrame.unionAll, dfs)
unionAll(*[df_new.select(c) for c in df_new.columns[1:]]).distinct()