SK
Я надеялся что автоматом сработает map join
Size: a a a
2018 November 01
SK
По идее если обе таблицы идут в кеш, то делается броадкаст, а потом фильтр
SK
Но что то не так пока
PK
Что за курс, подкинь?
PK
О, я его даже смотрел же. Но забыл (
SK
В итоге все заработало из коробки, помог промежуточный персист, сразу после джоина
2018 November 02
PK
Эй, ребятка и девчатки. Всем привет! Меня немного (а точнее много) печалит ситуация с откликами на call for talk для очередного митапа. Пока желающих выступать не нашлось от слова совсем. Поэтому обращаюсь к аудитории еще разок: есть ли у кого-то интересные темы и достижения, которыми вы готовы поделиться?
S
Горячая пора сдачи проектов :)
AU
А когда митап
AU
PK
А когда митап
Когда докладчиков наберём)
AU
Когда докладчиков наберём)
А примерно? От этого зависит сможем или нет доклад сделать)
PK
Конец ноября - начало декабря
N
Привет! Скиньте пожалуйста хорошую ссылку, где можно почитать про партицированные таблички в hive и работу с ними спарком
PK
Привет! Скиньте пожалуйста хорошую ссылку, где можно почитать про партицированные таблички в hive и работу с ними спарком
А в чем вопрос-то? Вангую, что проблема с динамическим партиционированием.
N
Проблема с тем, шо я эт первый раз делаю. Мне кое что объяснили, но хочу почитать еще, поразбираться все такое прочее
N
В шею не гонят, есть время посидеть
PK
Так а в чем разбираться-то? Про партиционирование в Hive написано в доке на офф сайте https://cwiki.apache.org/confluence/display/Hive/Tutorial
PK
Spark SQL может читать их хайва из партиционированных таблиц и может писать в хайв в партиционированные таблицы. Основная загвоздка вот https://medium.com/@anuvrat/writing-into-dynamic-partitions-using-spark-2e2b818a007a
ЕГ
Да, инсёрт оверврайт - это опасно)