Привет вот есть функция array_contains

Хочу на pyspark 2.4.4 проверить входит ли колонка '_2' с типом строка в колонку '_1' с типом массив(строка). Итого у меня два варианта написать это выражение, которое приведет к разным результатам:

1) F.array_contains(F.col('_1'), F.col('_2')), такое не компилится https://paste.ofcode.org/DJBfMU2zPawH4taMt6EMFA
2) если не прописывать явно F.col('_2'), а указать только '_2', то он будет думать что это литерал строка, что собственно логично, дока об этом явно говорит. Но это не то, что мне нужно

В итоге работает так, как мне нужно, только следующим образом F.expr('array_contains(_1, _2)'). Не понимаю почему первый вариант не работает и как сделать не через sql expr?

> как сделать не через sql expr?
ты ток не пугайся... но вот так:

Column(sc._jvm.functions.array_contains(_to_java_column(col("my_array_col")), _to_java_column(col("to_check_col"))))

)

ничоси

как же прекрасен петон

Офигенно

Сразу видно, что человек на работе на питоне пишет

До сих пор

Слушай, а если такую красоту не расписывать, а взять примитивный вариант через expr, то под капотом будет ровно то же самое происходить?

да

Принято, спасибо за лайфхак)

спасибо) оставлю пожалуй expr

Этой штукой можно ненароком вызвать дьявола

Или может оказаться что это он вызвал тебя и ты в аду

😃😃😃

Всем привет! Кто-то работал с SAP через OData? Можно ли эффективно экстрактить данные через неё?