Size: a a a

Заметки техдирские

2020 May 12
Заметки техдирские
Самый лучший франкенштейн состоит из:
Окончательные результаты
13%
Python
9%
Go
12%
Lua
18%
PHP
9%
PostgreSQL
9%
MySQL
14%
Mongo
16%
Kafka
Проголосовало: 445
источник
Заметки техдирские
https://www.youtube.com/watch?v=VoFcNkWMu08
Готовый исходник детекта цели для дрона на python и OpenCV

Как-то ребята попросили поучавствовать в проектике Видео-шазама. Порывшись, нашёл разработчика, который пилит много всяких примеров компьютерного зрения на OpenCV и выкладывает их в отрытый доступ.

Вот характерный пример: https://www.pyimagesearch.com/2015/05/04/target-acquired-finding-targets-in-drone-and-quadcopter-video-streams-using-python-and-opencv/
источник
Заметки техдирские
Коллеги! А чем классно сейчас генерировать визуальные схемы постгресовых баз, чтобы красиво-модно-молодёжно? Напишите в чатике, plz: @ctorecordschat
источник
Заметки техдирские
Сегодня книги привезли: Рэй Далио "Принципы" и Коул Нуссбаумер Нафлик "Данные: визуализируй, расскажи, используй", - буду погружаться.

Вроде кто-то хотел библиотеку открыть для рекомендаций книг, буду открывать рубрику со своим фидбеком про них. Также принимаю и ваши фидбеки про книги, - готов публиковать!
источник
Заметки техдирские
​​В Китае устанавливают камеры наблюдения внутри квартир граждан

Пандемия коронавируса приблизила камеры наблюдения к приватной жизни людей: вместо общественных мест они теперь устанавливаются перед входными дверями, а в некоторых случаях даже внутри квартир жителей, даже без их разрешения.

Жительница Гуанчжоу, сообщила, что перед её дверью установили видеокамеру с лампами, которые ярко светят в лицо, когда она открывает входную дверь.  А вернувшемуся домой жителю города Чанчжоу на следующий день установили камеру, направленную на входную дверь, со стены шкафа в прихожей. Очевидцы сообщают, что камеры для наблюдения за находящимися в карантине жителями передают картинку на смартфоны полицейских и общественных работников.

Также некоторым гражданам на карантине вместо видеокамеры ставят на дверь магнитную сигнализацию, которая уведомляет власти об открытии дверей.

#новость
источник
Заметки техдирские
Про навыки использования инспектора в Гугл Хром
#фишечки использования мос.ру:

Вынесено из комментариев на недавнюю холиворную тему: "А на сайте nedoma на меня подтягиается неверный паспорт из ЕСИА, если логиниться через госуслуги (причем он не дает руками поправить, поля readonly). Решил этот вопрос в инспекторе элементов в Chrome, удалив disabled у полей, для оформления пропуска мне хватило. Корректно данные в пропуске были указаны".
источник
Заметки техдирские
Переслано от Lev
источник
2020 May 13
Заметки техдирские
Из Бездны баша про важность постановки процессов

#5080773 13.05.2020 в 8:47

Недавно читал статью о немецких токарях, и об отличии их менталитета от нашего. На глазах изумлённого корреспондента по звонку на обед токарь банально выключил станок, не отведя резец и, соответственно, упоров и резец, и заготовку. На удивлённый вопрос сообщил: я знаю, как надо делать. Но я делаю не как знаю, а как в инструкции. И даже уже передал начальству, что в инструкции ошибка. Исправят.

Несколько упоротых резцов и заготовок - это копейки по сравнению с ситуацией "инструкция содержит ошибки, все работают не по инструкции, а как сами понимают, и когда этот токарь, умеющий, как надо, уйдёт на пенсию и придёт новый - ему придётся самому выяснять, как надо, вместо того, чтобы тупо прочитать инструкцию".

Это что, свеженький заводик, три дня как открылся? Какие ошибки в инструкциях? Через пару" упоротых" их исправят быстрее, чем токарь дообедает. На нормальном заводе(в Германии или России, пофиг) начальник отдела получает за поломки так, что вазелин не помогает. Ошибки в инструкции могут быть только на уровне менее удобного процесса или относительно низкой эргономики. Но никак не сломанных деталей и тем более порчи дорогущих машин.
источник
Заметки техдирские
#инсайт Про Agile в нашей стране
(прислано анонимно)

Конечно, есть фирмы, где все прекрасно, но, все же еще много таких, о которых будет сказано ниже. Не хотел скидывать это в общий чат, но верю, что вам это пригодится.

Когда собственники слышат про Agile, они слышат только, как это круто, и что можно сократить расходы. Так уж устроен человек. Он запоминает начало беседы (семинара) и конец. Собственник приходит в свою фирму и начинает внедрять Agile. Он читает много литературы по этой теме, но первичный образ не покидает его. В его понимании Agile это чистая выгода и экономия на человеческих ресурсах.

Менеджер среднего звена смотрит на Agile с большой опаской. Ведь Agile инструменты делают прозрачной работу всех сотрудников. Все знают, что нужно сделать без применения микроменеджмента, а значит руководители среднего звена перестают быть нужными.

Работники всячески стараются затормозить внедрение Agile. Ведь они теперь будут больше и эффективнее работать за те же деньги. Увы. Собственник уже в мыслях выгнал половину работников.

Этот вариант, который я описал похож рабство.

Вот как объяснить собственнику, что Agile это прежде всего совершенствование главного инструмента бизнеса - людей. А где совершенствование, там и профилирование. В один прекрасный момент человек понимает, что он может больше, но его удел работать тем, кем он работает. Мало кого заботит, что сотрудники кроме своих прямых обязанностей могу еще что-то, что могло бы дать преимущество бизнесу. Всесторонне развитый сотрудник (убедился сам) только пугает начальство. А должно быть наоборот.
источник
2020 May 15
Заметки техдирские
Коллеги! А чем выводить данные на видеостену или экраны с уведомлениями?
Нужно, чтобы:
- бесплатно (open source)
- была удобная управлялка типами контента и условиями, что и когда показывать. Типа, с утра песни играть, а с 11 до 13 - показывать расписание занятий
и т.п.
источник
Заметки техдирские
Пятничный опрос: умеет ли Симонов программировать
Окончательные результаты
4%
Да, он регулярно кодит.
17%
Не, он же Симонов, основатель техдирского клуба
47%
Ну должен по идее, но врядли много
32%
хз
Проголосовало: 230
источник
Заметки техдирские
Марат Ижанов тут обратил моё внимание на статью "Не нанимайте крутых программистов...". Мне не очень импонируют мысли в этой статье, но возможно автор прав?
Окончательные результаты
15%
Да, прав без "б"! Реально тему базарит!
33%
Автор в некоторых моментах заблуждается, но в целом прав.
52%
Лажа!
Проголосовало: 117
источник
Заметки техдирские
👆 короче насовали Филу по самое немогу 🙈🙈🙈 За что ж вы его так? Дельные вещи вполне говорит в принципе, между прочим, в некоторых местах!
https://t.me/ctorecords/1479
источник
2020 May 19
Заметки техдирские
https://www.youtube.com/watch?v=LXqtzF1PaTg
#лекции Алексейцев Александр: Прогнозирование продаж интернет-магазина с помощью градиентного бустинга (lightGBM).

В OZON.ru разработали автоматическую систему пополнения склада.

Мозг системы - ML для прогнозирования продаж.
- Постановка задачи и выбор лосс-функции.
- Feature enginering - около 180 признаков. Расскажу, как сочиняли, а потом отбирали признаки. Как дать "понять" модели сложные сезонные особенности спроса на товары, выход на рынок конкурента, неожиданный хайп и такое же неожиданное забвение.
- Генерация дата-сета - известные и не очень баги Spark, сложные джойны, оконные функции и многое другое.
- Выбор модели - перепробовали все на свете (линейную регрессию все же обыграли).
- Подводные камни процесса обучения lightGBM - выбор гиперпараметров, регуляризация, балансировка выборки.
- Оценка результатов - как убедить весь мир (и себя заодно), что все работает хорошо.

Скелет системы - Spark/Hadoop/.
- Весь код написан на Spark (около 5к строк).
- Ежедневная доставка/валидация данных.
- Решения по повышению надежности системы (если упадем, OZON просто ничего не закупит).

Бизнес-реалии закупок товаров.
- Выбор поставщика.
- Страховые запасы.
- Борьба с уровнем сервиса поставщиков.

БОНУС: использование обученных lightGBM-моделей для оценки эластичности спроса на товары по цене планирования маркетинговых акций и эффекта от них. Разные виды функций зависимости спроса от цены для разных типов товаров и многое другое получили как "побочный" эффект от основной задачи.
источник
Заметки техдирские
https://www.youtube.com/watch?v=UThlbrS3AUU
#лекции  (продолжение доклада Александра Алексейцева через год)
Машинное обучение (lightGBM) и теория вероятностей для предсказания продаж и оптимизации запасов интернет-магазина OZON.RUOZON.RU

- Обучение ML-моделей для потоварного предсказания спроса.
Подводные камни в формировании обучающей выборки (балансировка, очистка данных).
Подбор гиперпараметров и постобработка результатов.
Unsupervised-кластеризация временных рядов как фича для обучения supervised-классификатора товаров без истории продаж.
Первые шаги с LSTM-сетями.

- Математика и теория вероятностей в процессах пополнения складов.
Оценка распределений ошибок прогноза, ошибок поставок (опоздания, "недовозы" поставщиков).
Расчет страховых запасов на основе полученных распределений.

- Методы оптимизации в ценообразовании.
Оптимизация цен товаров для максимизации оборота с ограничением по марже.
Применение моделей предсказания продаж в оптимизации цен. Линеаризация сложной модели для ускорения работы оптимизатора.

- Замкнутый цикл разработки ML-решений для продакшна. Бизнес-применение ML.
feature engineering -> model selection -> training -> results evaluation -> feature engineering -> ...

- Работа с большими данными. Как заставить Spark быть параллельным.
Сбор данных и генерация фич на Spark. Подбор настроек Spark для достижения высокой степени параллельности вычислений. Осознанное репартиционирование таблиц для равномерной нагрузки на вычислительные ноды.
источник
Заметки техдирские
Про озоновские доклады

- Дмитрий, я доклад не смотрел. Там действительно описывается, на сколько % сократились складские запасы?

- Про работу со складскими остатками очень много рассказано. Смотреть реально лучше последовательно оба доклада. Первый - про первые полгода работы Александра, а второй - результаты спустя год. Очень показательно получилось, но второй без первого не очень понятен.
источник
Заметки техдирские
источник
Заметки техдирские
Шаблонизатор вордовых документов  по данным из экселя

Это пост для тех, кто сейчас в связи с covid-ом в отделах кадров, в бухгалтериях и остальных подобных подразделениях генерируют центнеры бумаги по отчётностям.

Знакомые сделали простенький макрос в экселе, который на основе документа Template.docx и строчек в экселей генерирует готовые документы, подставляя в шаблон данные вместо строчек вида "%Переменная%".

Очень простенькое решение, снимающее геморрой ручного труда.

П.С. Для тех, кто хочет круче, курите доки по "Слиянию"!
источник
Заметки техдирские
Ужасы нашего чатика

Руслан обмолвился о том, что лишь однажды за карьеру встречался с главбухом мужчиной и огрёб нехилый хейт про сексизм!
источник
2020 May 20
Заметки техдирские
Коллеги! А чьё добро? monitoring.aisubp.ru
источник