N
Евгений Глотов
Да, инсёрт оверврайт - это опасно)
Вот как раз его и нужно. Данные вставляются помесячно , и для каждой вставки-создавать партицию
Size: a a a
2018 November 02
N
Так а в чем разбираться-то? Про партиционирование в Hive написано в доке на офф сайте https://cwiki.apache.org/confluence/display/Hive/Tutorial
Пасип
S
Не забудь собрать данные в дф в кучу, а то потом будут вопросы как недавно возникали, что в пределах одной партиции хайва выпало множество мелких файлов
PK
Не забудь собрать данные в дф в кучу, а то потом будут вопросы как недавно возникали, что в пределах одной партиции хайва выпало множество мелких файлов
Тут подразумевается сделать repartition на небольшое количество партиций, а не collect. Ну так, чисто уточнить ))
N
Ээ
N
Хм
ЕГ
Вот как раз его и нужно. Данные вставляются помесячно , и для каждой вставки-создавать партицию
Ну просто вставить данные нет проблемы, есть небольшие проблемы, если надо перезаписать одну или несколько партиций - их надо будет сначала дропать, а потом записывать
N
Евгений Глотов
Ну просто вставить данные нет проблемы, есть небольшие проблемы, если надо перезаписать одну или несколько партиций - их надо будет сначала дропать, а потом записывать
Аа, ок. Сейчас для теста для удаления я захожу через интерфейс hive и грохаю сами файлики
N
Не забудь собрать данные в дф в кучу, а то потом будут вопросы как недавно возникали, что в пределах одной партиции хайва выпало множество мелких файлов
А это случайно не ситуация, когда просто поклали файлики в локейшин? Не через спарк ?
PK
А это случайно не ситуация, когда просто поклали файлики в локейшин? Не через спарк ?
Нет, не та
S
Почитай что происходит с рдд/дф при расчетах и стандартное количество партишнов в них при репартишне
N
Ок, спасибо
2018 November 07
DG
DG
Эй, ребятка и девчатки. Всем привет! Меня немного (а точнее много) печалит ситуация с откликами на call for talk для очередного митапа. Пока желающих выступать не нашлось от слова совсем. Поэтому обращаюсь к аудитории еще разок: есть ли у кого-то интересные темы и достижения, которыми вы готовы поделиться?
Всем привет,
Я бы с удовольствием освятил только пожелания чего хочу (мечтаю) сделать с этим инструментом . Но я пока только изучаю его , и опыта практического применения нет .
Железо нужно хорошее, а бюджета нет.
Потому пока только изучение , а потом может разовые практики на тестовых облаках майл.ру, тоже на простых тестовых данных.
Хочу с этим инструментом попробовать решить ряд задач OLAP на DROID over SPARK которые старенькое железо и оракл пока не хотят решать ни шустро, иногда сутками на пролет.
Буду рад услышать любой совет о несбыточность этой мечты , или о ее необдуманности.
Отсутствие ответов на мой спам¡ в этот чат в ближайшие 2 недели придется трактовать как факт того что в Московском сообществе все в основном любители чужого опыта (никого не хочу обидеть), и нет среди нас естествоИспытателей в реальном
Я бы с удовольствием освятил только пожелания чего хочу (мечтаю) сделать с этим инструментом . Но я пока только изучаю его , и опыта практического применения нет .
Железо нужно хорошее, а бюджета нет.
Потому пока только изучение , а потом может разовые практики на тестовых облаках майл.ру, тоже на простых тестовых данных.
Хочу с этим инструментом попробовать решить ряд задач OLAP на DROID over SPARK которые старенькое железо и оракл пока не хотят решать ни шустро, иногда сутками на пролет.
Буду рад услышать любой совет о несбыточность этой мечты , или о ее необдуманности.
Отсутствие ответов на мой спам¡ в этот чат в ближайшие 2 недели придется трактовать как факт того что в Московском сообществе все в основном любители чужого опыта (никого не хочу обидеть), и нет среди нас естествоИспытателей в реальном
PK
С козырей зашел первым же постом ))
DG
😉 в ожидании чуда
AI
А почему именно OLAP поверх SPARK? Я на прошлом месте работы не успел с ним поработать, но слышал, что в Joom нужны были OLAP-кубы для аналитики. И им не подошли ни Apache Spark, ни Apache Kylin.
FL
Всем привет,
Я бы с удовольствием освятил только пожелания чего хочу (мечтаю) сделать с этим инструментом . Но я пока только изучаю его , и опыта практического применения нет .
Железо нужно хорошее, а бюджета нет.
Потому пока только изучение , а потом может разовые практики на тестовых облаках майл.ру, тоже на простых тестовых данных.
Хочу с этим инструментом попробовать решить ряд задач OLAP на DROID over SPARK которые старенькое железо и оракл пока не хотят решать ни шустро, иногда сутками на пролет.
Буду рад услышать любой совет о несбыточность этой мечты , или о ее необдуманности.
Отсутствие ответов на мой спам¡ в этот чат в ближайшие 2 недели придется трактовать как факт того что в Московском сообществе все в основном любители чужого опыта (никого не хочу обидеть), и нет среди нас естествоИспытателей в реальном
Я бы с удовольствием освятил только пожелания чего хочу (мечтаю) сделать с этим инструментом . Но я пока только изучаю его , и опыта практического применения нет .
Железо нужно хорошее, а бюджета нет.
Потому пока только изучение , а потом может разовые практики на тестовых облаках майл.ру, тоже на простых тестовых данных.
Хочу с этим инструментом попробовать решить ряд задач OLAP на DROID over SPARK которые старенькое железо и оракл пока не хотят решать ни шустро, иногда сутками на пролет.
Буду рад услышать любой совет о несбыточность этой мечты , или о ее необдуманности.
Отсутствие ответов на мой спам¡ в этот чат в ближайшие 2 недели придется трактовать как факт того что в Московском сообществе все в основном любители чужого опыта (никого не хочу обидеть), и нет среди нас естествоИспытателей в реальном
Я не осилил ваш пост.
Где тут вопрос? Каких ответов вы ожидаете? О каком вообще инструменте речь?
Где тут вопрос? Каких ответов вы ожидаете? О каком вообще инструменте речь?
AS
да обычный троль, проходим мимо
AS
А почему именно OLAP поверх SPARK? Я на прошлом месте работы не успел с ним поработать, но слышал, что в Joom нужны были OLAP-кубы для аналитики. И им не подошли ни Apache Spark, ни Apache Kylin.
на прошлой работе делали кубы как раз с помощью спарка, а вертели их уже с помощью bi.