M
5 тб одинаковых кликстрим логов это проще чем 5мб в 4 oltp-системах с сотнями сущностей
Size: a a a
2019 December 12
M
я утрирую конечно, 5 тб это тоже сложно))
M
но есть проблемы которые возникают независимо от объема
АК
разумеется есть =)
ИО
вопрос не в количестве данных, работа с большим количеством данных достаточно тривиальна
вопрос в том, чтобы построить надёжную систему, когда логика обновления данных в каждой системе разная
вопрос в том, чтобы построить надёжную систему, когда логика обновления данных в каждой системе разная
На моём текущем месте работы, если источников много и разные - через интеграционный слой. Либо бексы в Сапе)
АК
но скажем так обычно можно сделать с 10ок не оптимизрованных способов хранить и перемещать данные
и реальные проблемы в этих способах выявляются только тогда, когда обьемы достигают каких-то определенных отметок, где нагрузка становиться значимой по деньгам =)
и реальные проблемы в этих способах выявляются только тогда, когда обьемы достигают каких-то определенных отметок, где нагрузка становиться значимой по деньгам =)
M
ну понятно что масштабирование это отдельная проблема, да
RA
https://jobs.tut.by/vacancy/34663213 например. Правда, это Минск
Пробовал туда, но условия для переезда в Минск не те предлагают)
LT
#Москва #офис #Data_analyst
Ищем в команда Rosbank Daily Banking PRO (малый бизнес и предприниматели) продуктового аналитика.
ЗП - от 100К (размер вознаграждения обсуждаем с каждым кандидатом индивидуально)
Обязанности:
Построение разовой и периодической отчётности (MSSQL);
Построение клиентских и продуктовых витрин (MSSQL);
Планирование и финансовое моделирование (P&L);
Исследование данных (MSSQL/Python).
Требования:
Образование: Высшее;
Владение ПК. Знание специальных программ: MSSQL, VBA, Python;
Опыт и профессиональные навыки: экспертное знание T-SQL;
Опыт построения финансовых моделей;
Понимание экономики банковского продукта (прямые/косвенные доходы и затраты, аллокации, прогнозные модели), знание принципов учёта в АБС банка;
Продуктовый NPV;
Опыт прикладного программирования - плюс;
Опыт построения/применения статистических моделей - плюс;
Условия:
Возможности профессионального развития и карьерного роста;
Дополнительный оплачиваемый отпуск;
Дополнительная оплата банком 14 календарных дней больничного листа;
Добровольное медицинское страхование сотрудников и их родственников;
Льготные тарифы пользования продуктами и услугами банка;
Скидки на продукты и услуги компаний-партнеров;
График работы - 5/2 (сокращенный рабочий день в пятницу);
Офис - м. Красные ворота / м. Комсомольская (5 минут пешком от метро).
Вакансия на hh:
https://hh.ru/vacancy/33645148?
Жду резюме и зарплатные ожидания в ЛС.
Ищем в команда Rosbank Daily Banking PRO (малый бизнес и предприниматели) продуктового аналитика.
ЗП - от 100К (размер вознаграждения обсуждаем с каждым кандидатом индивидуально)
Обязанности:
Построение разовой и периодической отчётности (MSSQL);
Построение клиентских и продуктовых витрин (MSSQL);
Планирование и финансовое моделирование (P&L);
Исследование данных (MSSQL/Python).
Требования:
Образование: Высшее;
Владение ПК. Знание специальных программ: MSSQL, VBA, Python;
Опыт и профессиональные навыки: экспертное знание T-SQL;
Опыт построения финансовых моделей;
Понимание экономики банковского продукта (прямые/косвенные доходы и затраты, аллокации, прогнозные модели), знание принципов учёта в АБС банка;
Продуктовый NPV;
Опыт прикладного программирования - плюс;
Опыт построения/применения статистических моделей - плюс;
Условия:
Возможности профессионального развития и карьерного роста;
Дополнительный оплачиваемый отпуск;
Дополнительная оплата банком 14 календарных дней больничного листа;
Добровольное медицинское страхование сотрудников и их родственников;
Льготные тарифы пользования продуктами и услугами банка;
Скидки на продукты и услуги компаний-партнеров;
График работы - 5/2 (сокращенный рабочий день в пятницу);
Офис - м. Красные ворота / м. Комсомольская (5 минут пешком от метро).
Вакансия на hh:
https://hh.ru/vacancy/33645148?
Жду резюме и зарплатные ожидания в ЛС.
LN
Тинькофф создаёт (или собирается создавать) суперприложение. Русский wechat такой. Если взлетит, то задач хватит на всех, включая студентов-стажеров, я так думаю.
A
Это же втб вроде?
A
Суперприложение за 2,5 млрд рублей
EG
Это же втб вроде?
RB
Суперприложение за 2,5 млрд рублей
Они будут делать своё :) стараться, по крайней мере)
A
Лучше бы новый суперджет купили
RB
Кто-то купит :) в госорганизациях строят финмодели так, чтобы скрыть деньги, которые уйдут налево :) на них и покупают :)
Кто-то купит :) в госорганизациях строят финмодели так, чтобы скрыть деньги, которые уйдут налево :) на них и покупают :)
Так в Минкомсвязи было. Хочешь денег - заказывай НИРы
И никто эти НИРы проверять не будет
A
я соглашусь =) просто от вас была реакция что Python и SQL это не etl
но звучит как будто в современных реалиях если у вас не кваджилионны данных на 100 кластерах хадупа, то человека с компетенциями в стиле Python + немножко от девопса(а лучше множко) должно хватать
UPD. - могу ошибаться, это лишь догадка =)
но звучит как будто в современных реалиях если у вас не кваджилионны данных на 100 кластерах хадупа, то человека с компетенциями в стиле Python + немножко от девопса(а лучше множко) должно хватать
UPD. - могу ошибаться, это лишь догадка =)
Все по контексту там правильно по теме зашло. Ты просто сейчас со стороны эту фразу слишком буквально читаешь