Size: a a a

2021 May 31

С

Сергей in Moscow Spark
подскажите пожалуйста, правильно я понимаю что hive нельзя создать таблицу с not null?
источник

AK

Alena Korogodova in Moscow Spark
Да и зачем?
источник

AK

Alena Korogodova in Moscow Spark
Чтобы при записи огромной пачки данных всё упало из-за одной строчки, в которой поле будет null?
источник

ИК

Иван Калининский... in Moscow Spark
Не совсем правильно понимаете, создать таблицу с таким ограничением можно, начиная с версии 3.0.0
Пруф: https://issues.apache.org/jira/browse/HIVE-16575
источник

С

Сергей in Moscow Spark
Спасибо больше.
источник
2021 June 03

PE

Petr Ermakov in Moscow Spark
С ребятами из CatBoost-а подготовили воркшоп в рамках datafest.ru, о том как обучать CatBoost в Spark
Тут небольшой проморолик https://youtu.be/ei-ZCAafr7s
Сегодня в 19:00 (03/06/2021) пройдет сам доклад.

Сначала небольшая вводная про catboost, дальше чутка кода, а потом q&a.

Трансляция доклада будет в live.ods.ai
Для получения пароля надо будет авторизоваться через ods slack или GitHub на фест https://ods.ai/tracks/bigdata-df2021
Получить пароль и войти можно попробовать уже сейчас

Вот тут FAQ по https://ods.ai/events/datafest2021/faq если проблемки
YouTube
Анонс воркшопа трека BigData "Как запихнуть в CatBoost терабайты данных используя Apache Spark"
Data Fest Online 2021
Dig Data track

3 июня в 19:00 приглашаем вас посмотреть воркшоп по использованию CatBoost на Apache Spark. Сразу после воркшопа команда CatBoost ответит на все вопросы по использованию, деталям реализации и дальнейшему развитию CatBoost для Apache Spark и не только.

→ Присоединяйтесь к мероприятию в Spatial chat https://live.ods.ai/, комната BigData. Пароль от Spatial Chat доступен зарегистрированным участникам на странице феста в разделе Нетворкинг: https://ods.ai/events/datafest2021

→ Смотрите трансляцию на YouTube, на нашем канале

Спикеры:
Андрей Хропов, старший разработчик, Яндекс

Приходите общаться с командой CatBoost'a и поделиться своим опытом использования библиотеки!

Посмотреть эфир и список треков и организаторов: https://datafest.ru/2021/
Зарегистрироваться на фест и получить доступ к трекам: https://ods.ai/events/datafest2021
Вступить в сообщество: https://ods.ai/

Соцсети Data Fest:
https://t.me/datafest
https://vk.com/datafest
источник

PK

Pavel Klemenkov in Moscow Spark
Отлично, буду смотреть!
источник

PE

Petr Ermakov in Moscow Spark
И задавать после вопросы, воркшоп же крут ражи вопросов
источник

ПБ

Повелитель Бури... in Moscow Spark
Я был на семинаре по clickhouse и catboost ,это примерно о том же?
источник

N

Nikita Blagodarnyy in Moscow Spark
Ну да, кликхаус тот же спарк по сути. Только на си.
источник

SA

Sergey Amelin in Moscow Spark
кликхауз это субд. спарк это движок вычислений. вещи разные
источник

Д

Дмитрий in Moscow Spark
Кликхауз это субд, spark framework для scala, java, python, R. В остальном это одно и тоже 😱
источник

Д

Дмитрий in Moscow Spark
Байтики перекладывают.
источник

ПБ

Повелитель Бури... in Moscow Spark
Ну номинально, у кликхауса тоже есть свой движок вычислений)
источник

ПБ

Повелитель Бури... in Moscow Spark
У кх данные лежат на диске и их можно аттачить)

https://clickhouse.tech/docs/ru/sql-reference/statements/attach/
источник

Д

Дмитрий in Moscow Spark
Куда атачить ?  В питон ? Scala ....или только на сервер клика ?
источник

VN

Viacheslav Nefedov in Moscow Spark
да никуда :) . Этот блок в документации - о том, как перемещать данные внутри кликхауза
источник

Д

Дмитрий in Moscow Spark
Там еще есть директор зоопарка, он тоже много чего может... веренее делает ...
источник
2021 June 04

PK

Pavel Klemenkov in Moscow Spark
Я, короче, все забыл. Запись будет?
источник

PE

Petr Ermakov in Moscow Spark
YouTube
Воркшоп с Андреем Хроповым: Как запихнуть в CatBoost терабайты данных используя Apache Spark
Data Fest Online 2021
Big Data track https://ods.ai/tracks/bigdata-df2021

Воркшоп по использованию CatBoost на Apache Spark.

Андрей Хропов из Яндекса расскажет про то как устроен CatBoost для Apache Spark, чем он отличается от конкурентов, какие особенности запуска на Apache Spark вас ждут, а также научит Петра (куратора секции Big Data и руководителя школы DataGym.ru) запускать код, который запускает CatBoost для Apache Spark. После воркшопа вас ждет сессия вопросов и ответов от команды CatBoost.

Материалы воркшопа (презентация и Jupyter-ноутбук) доступны по ссылке: https://clck.ru/VGchv

Если вы хотите тренировать модели машинного обучения на больших данных, обязательно смотрите воркшоп и оставляйте комментарии под видео. За новостями CatBoost можно следить в Twitter (https://twitter.com/CatBoostML) и в Telegram (@catboost_ru и @catboost_en).

Сайт CatBoost: https://catboost.ai
Документация CatBoost: https://catboost.ai/docs
CatBoost на GitHub: https://github.com/catboost
Главная страница CatBoost для Apache…
источник