О, я бы тоже посмотрел!

Курсера

О-Рейли

Чо, прям списки задачек?

Да
 с примерами на гит-хабе
https://www.oreilly.com/search/?query=spark&extended_publisher_data=true&highlight=true&include_assessments=false&include_case_studies=true&include_courses=true&include_playlists=true&include_collections=true&include_notebooks=true&include_sandboxes=true&include_scenarios=true&is_academic_institution_account=false&source=user&formats=video&sort=relevance&facet_json=true&json_facets=true&page=0&include_facets=false

Ребят, могли бы подсказать есть ли способ сохранять датафрейм в топик кафки, которого еще нет? Условно поведение saveAsTable, которое создает табличку если таковой нет.

в кафке есть опция, которая топики автоматом создает

Понял, спасибо

Привет! А как можно python UDF зарегистрировать и вызвать в spark-scala коде ?)

@pomadchin Гриша ты же вроде делал чето такое

давно было) не помню честно говоря чем кончилось; если не помню значит ни чем хорошим

Это точно возможно но я не знаю поддерживает ли это апи сейчас (раньше - нет)

Понял, буду разбираться)

Коллеги, как можно получить InternalRow из некоторых значений, которые есть в Row? Просто создать InternalRow.fromSeq(field_names.map(f => row.getAs[Any](f))) вызывает через некоторое время исключение
java.lang.ClassCastException: java.lang.String cannot be cast to org.apache.spark.unsafe.types.UTF8String
at org.apache.spark.sql.catalyst.expressions.BaseGenericInternalRow$class.getUTF8String(rows.scala:46)

Вообще, есть где-нибудь годное описание InternalRow, как создать, как менять, как сделать клёво)) ? В ближайшее время буду очень много с ним работать

Поправил вопрос, в исходниках была коллекция, а я оставил apply вместо fromSeq. Но что-то всё равно не так

Раскопал в исходниках и сделал как там:
InternalRow.fromSeq(fields.map(f => Literal.create(row.getAs[Any](f.name), f.dataType).value))
Выглядит чуть сложнее и тип пришлось подтягивать, но работает. Правда теперь атрибуты несогласованы, но это уже другая проблема

Наладил атрибуты (поля), можно двигаться дальше.
Спасибо, вы отличная публика!))

не

поищи RowDecoder

он умеет