там достаточно основ. если есть опыт программирования, будет просто

Спасибо - пошел изучать )

#fomo

Интересные новости, к вопросу жив Hadoop или мертв🤞

Apache Foundation объявила, что 19 продуктов идут на пенсию, 11 из которых big data штуки.

Конечно концепты Hadoop важны и применяются по сей день, но уже не в первоначальном виде.

https://www.zdnet.com/article/apache-software-foundation-retires-slew-of-hadoop-related-projects/

Релок прилагается?)

да

А кинь вакансию, мне чисто посмотреть

Суд обязал Google разблокировать телеканал «Царьград» на Youtube, заблокированный из-за санкций
https://www.vedomosti.ru/media/articles/2021/04/13/865828-sud-obyazal-google-razblokirovat-tsargrad-na-youtube

Привет. Я с новостями :)

Я как-то рассказывал о проблеме с функцией GET_DDL в Snowflake.
Она имеет одну особенность, которая не позволяет использовать результат ее работы по назначению:
объекты сортируются по алфавиту.

Например:

CREATE TABLE B (ID INT PRIMARY KEY);
CREATE TABLE A (ID INT REFERENCES B(ID));
SELECT GET_DDL('DATABASE', 'TEST', TRUE);

Вернет

create or replace TABLE TEST.PUBLIC.A (
  ID NUMBER(38,0),
  foreign key (ID) references TEST.PUBLIC.B(ID)
);
create or replace TABLE TEST.PUBLIC.B (
  ID NUMBER(38,0) NOT NULL,
  primary key (ID)
);

Этот DDL-скрипт не может быть выполнен из-за неправильного порядка объектов.

Мы сделали инструмент, который пересортирует объекты с учетом их связанности.
Применимо для всех объектов Snowflake (включая VIEW), понимает CREATE и ALTER, учитывает FOREIGN KEYS, CLONE, SELECT AS и другие виды зависимостей.

Умеет определять циклические зависимости.

Можно использовать онлайн без регистрации
https://parsers.dev/tools/ddl/reordering

https://parsers.dev/tools/ddl/reordering

или при помощи API:
https://docs.parsers.dev/#snowflake-get_ddl-function-result-reorder


https://docs.parsers.dev/#snowflake-get_ddl-function-result-reorder


Если у вас будут какие-то задачи, которые вы хотели бы автоматизировать, пишите тут. Попробуем решить :)

А есть позиция сто спотифая?

да! но придется начать квест с простого инженера

Из всех перечисленных там штук я своими глазами видел работающим только Sentry. А самого хадупа в списке нет. Ни yarn, ни hdfs.

@slavasav решил на локскрине залайкать трек, но не понял куда жать

ахахаха

*мем про мужика с двумя красными кнопками*

Da

точно

лол

какой странный жанр