Size: a a a

2021 January 20
Ivan Begtin
Можно ли национализировать открытый код? Скорее всего нет. А вот построить национальную экосистему возможно что и делается в Китае. Китайские власти поддерживают местный проект Gitee как национального конкурента международным Github и Gitlab, об этом в статье [1] на Restworld.org.

В Китае уже есть OpenAtom Foundation [2] как местный аналог Linux Foundation и они вносят в Gitee многочисленные проекты такие как HarmonyOS [3].

От себя я добавлю что в последние годы идёт мощнейший прирост числа китаеязычных разработчиков [4] на Github и Китай явно
собирается развивать госполитику по возврату их в свою виртуальную юрисдикцию.

Чего ждать в России? Будет ли госполитика развития открытого кода в нашей стране? Об этом хотелось бы поговорить, но пока таких инициатив нет.

Ссылки:
[1] https://restofworld.org/2021/china-gitee-to-rival-github/
[2] https://www.openatom.org/#/projectList
[3] https://gitee.com/openharmony
[4] https://octoverse.github.com/

#opensource #china #gitee
источник
Ivan Begtin
Во Франции есть специальный чиновник, которого у нас бы назвали "уполномоченным по цифровым отношениям", а там называют "послом по цифровым отношениям" (Ambassadeur français pour le numérique)

Помимо прочей пользы этот посол ведёт проект по мониторингу условий использования крупнейших сетевых сервисов [1] таких как Google, Facebook, Twitter и ещё десятков. Все накопленные условия использования анализируются, обрабатываются и выкладываются как открытые данные в формате markdown [2]

В основе проекта данные накопленные в проекте TOSBack [3] который прекратил своё существование в 2018 году.

Также исследователи анализируют сложность и многие другие параметры этих документов [4], как ни смотри набор данных полезный для исследователей.

И, конечно, исходный код проектов посла доступен на Github [5], а сам он сотрудник Министерства иностранных дел Франции [6]

Ссылки:
[1] https://disinfo.quaidorsay.fr/en/cgus
[2] https://github.com/ambanum/CGUs-versions/releases
[3] https://tosback.org/
[4] https://disinfo.quaidorsay.fr/en/cgus/experiments
[5] https://github.com/ambanum
[6] https://en.wikipedia.org/wiki/Henri_Verdier

#france #digital #opendata
источник
2021 January 21
Ivan Begtin
Как устроены разного рода рейтинги и рэнкинги?

В последнее время меня спрашивали о том как устроены те или иные рейтинги. Я, в первую очередь, могу немало рассказать о том что касается разного рода рейтингов открытости, но не только. Рейтинги, часто, по разному, имеют значимые отличия в причинах происхождения и по разному к ним стоит относится. К рейтингам по разному относятся и те кого рейтингуют/ранжируют или косвенно затрагивают этим ранжированием.

Здесь надо оговориться что рейтингование - это выставление оценки, а рэнкинг - это ранжирование объектов по этим оценкам. В России это обычно путают и называют рейтингами результаты рэнкинга, поэтому я буду использовать тут тоже слово “рейтинг” как основное, но держать в голове неоднозначность определения.

Итак зачем вообще делают рейтинги и рэнкинги?
...
Текст полностью в рассылке https://begtin.substack.com/p/rankings

#ratings #rankings
источник
Ivan Begtin
Global Wind Atlas [1] веб-проект, карта и большая база данных ветров на планете. В первую очередь с точки зрения потенциала для ветроэнергетики и с большим объёмом открытых данных [2]

Проект может быть полезен всем кто ищет данные о ветрах в своих странах.

Ссылки:
[1] https://globalwindatlas.info/
[2] https://globalwindatlas.info/downloads/gis-files

#opendata #winds
источник
2021 January 22
Ivan Begtin
Что надо делать в первую очередь при любых административных изменениях? Сохранять архивы!

Я хочу напомнить что в конце прошлого года Пр-вом РФ была анонсирована большая реформа институтов развития. Это такие структуры как ВЭБ.РФ, РВК, Фонд содействия инновациям, Корпорация МСП и ещё довольно много разного [1]

В проекте Национальный цифровой архив нами собраны 54 веб-ресурса относящиеся к этим организациям [2]. Они включают официальные сайты, сайты мероприятий, конкурсов, контентных проектов, информационных систем, систем раскрытия информации и так далее. Наиболее вероятно что не исчезнут веб-ресурсы ВЭБ.РФ, наверное большая часть других тоже останется, но, поскольку параметры реформы всё ещё неизвестны, то перестраховка всегда важна.

Кроме ресурсов перечисленных в списке, есть многочисленные данные об институтах развития в системах госзакупок, бюджетной отчетности, отчетности НКО, систем регистрации судебных дел и иных официальных и иных информационных системах.
Чаще эти данные не исчезают, но, бывает всякое. Поэтому остаётся вопрос - надо ли архивировать и эти сведения тоже. В принципе, например, сведения по госконтрактам архивируются в рамках проекта Госрасходы [3], но, они, в виду значительных объёмов, не включают документы: тексты документации, контрактов и протоколов и так далее.

Ключевые вопросы:
1. Надо ли провести полное сохранение этих данных или исходим из доверия к этим системам?
2. Надо ли выделить отдельные наборы данных с закупками, базовой информацией по юр. лицам по этим организациям и так далее для исследователей и журналистов?

Ссылки:
[1] https://www.rbc.ru/business/23/11/2020/5fb8ce659a79471e74bd2245
[2] https://docs.google.com/spreadsheets/d/1YIwLeSBJ3WqR4nvsPq50rLkX2Z_4uHpW2q9ni8hw8x0/edit#gid=0
[3] https://spending.gov.ru

#opendata #opengov
источник
Ivan Begtin
Напомню что у Инфокультуры естт телеграм канал @infoculture где регулярно пишут о проектах по работе с данными для НКО
источник
Ivan Begtin
Онлайн-агрегатор «Капитан Грантов» — партнер конкурса «Исследователь».

На портале https://cptgrants.org вы можете найти информацию о грантах и конкурсах во всех регионах России. Кроме того, регулярная подборка актуальных грантов выходит в телеграм-канале: t.me/cptgrantov

Некоммерческие организации и социальные предприниматели могут получить индивидуальные консультации, присоединиться к обучающим вебинарам и семинарам, посвященным написанию заявок и участию в конкурсах.

Будьте в курсе возможностей с «Капитаном грантов»!
_ _ _
Напоминаем, что прием заявок на конкурс «Исследователь» идет до 31 января: https://ngo-research.ru/contest
источник
Ivan Begtin
Хотел написать по доброму, как получилось не знаю
-----
- Папа, папа!
- Да, сынок?
- А расскажи что такое проактивные госуслуги?
- А хочешь покажу в действии? Давай одевайся потеплее и пойдём.
...
- Видишь вот там сугроб и лед на земле скользкий. Давай туда подойдём. Вставай, вот тут. Возьми телефон, чуть подними, наклонись и ... падай спиной в сугроб как будто ты подскользнулся и говори громко (шёпотом) "Грёбаный гололёд", а потом ничего не говори, а послушай
- А мама мне не разрешает в снегу валяться и ругаться
- Сегодня можно. Ну что готов?
- Готов
- Поехали!
- (падает спиной в снег словно подскользнулся и кричит) "Грёбаный гололёд!"
- (голос из телефона) Здравствуйте, я городской цифровой помощник. Зафиксирована потеря устойчивости и возможное падение. Вам необходима медицинская помощь?
- (громко) Спасибо, нет
- (голос из телефона) Вы хотите оформить жалобу или обращение?
- (громко) Да, хочу
- (голос из телефона) Опишите Вашу ситуацию
- (громко) Шёл по улице. Подскользнулся. Упал, хорошо что гипса нет. Двор не убран, коммунальные службы работают плохо
- (голос из телефона) Ваше заявление зарегистрирована в течение 1 часа Вы получите официальный ответ. Ответственное лицо - Мартынов Игорь Игоревич, руководитель <неразборчиво>. Спасибо за обращение в городскую службу. Доброго Вам дня.
...
- (отряхивает спину и штаны сыну) Ну как?
- Прикольно! Получается так на всё что угодно можно пожаловаться?
- Ну, почти, потихоньку подключают, местные службы не всегда работают хорошо. Как всегда
- А почему "грёбаный"? Это волшебное слово такое
- Не, просто слово вводное, значит что ты что-то важное цифровому помощнику хочешь сказать. Ещё важна интонация и тд. Но ты его при маме только не говори, ей это знать не обязательно. Хорошо?
- Хорошо! А на учителя можно так пожаловаться? Например, "Грёбанная Мария Ивановна плохо провела урок истории".
- Нет, про школу нельзя и про соседей нельзя. Пока только про двор/дороги/ветеринарные службы/сантехников/таксистов/компании можно
- А это как?
- Вот смотри (громко) Грёбанные машины Тыгыдыкса. Весь двор ими заставили.
- (голос из телефона) Здравствуйте, я цифровой помощник транспортного управления Санкт-Газпромбурга. Вы хотите оставить жалобу о злоупотреблении общественным пространством?
- (громко) Нет, в другой раз.
- (голос из телефона) Извините за беспокойство. Доброго Вам дня
- огого! Как круто! Слово "грёбанный" какое-то волшебное. Мне нравится!
- да, но используй его пореже. Оно называется бранное, мама расстроится если узнает что я тебя им учу...
- (телефон вибрирует и говорит) Вам пришло новое сообщение
- О, а вот сообщение на наше обращение. Пишут что в связи с новыми требованиями Правительства по борьбе с 27-й волной коронавируса лед будет убран через 10 дней, а нам ходить по улице не рекомендуется.
- А почему они не исправляют
- Ну как сынок почему. Потому что в нашей стране много вот таких вот грёбанных Мартыновых Игорей Игоревичей не желающих делать её лучше ...
- (голос из телефона) Здравствуйте! Я цифровой помощник службы кадров Санкт-Газпромбурга. Вы хотите зарегистрировать обращение по работе сотрудника Мартынова Игоря Игоревича
- (громко и раздражённо) Нет не хочу! Отключись уже тебе говорят!
- (голос из телефона) Извините за беспокойство
- Пап, спокойнее, пойдём домой.
- Да, прости сынок. Каждый день разбираю столько жалоб и все на всё жалуются, особенно на правительство, а сами ничего не делают. Вот буквально вчера сотни писем все одно за одним пишут мол "Грёбанное правительство" и куча всего... Устаёт твой папка
- (голос из телефона) Здравствуйте, с Вами говорит голосовой помощник службы сбора штрафов города Санкт-Газпробурга. Вам с Вашего счетна списан штраф в 1000 рублей за бранные слова в адрес должностных лиц.
- Сынок, подожди, я на минуту отойду (в телефон) Алиса, ну хватит уже прикалываться
- Это тебе хватит уже сына учить ругаться. Давайте домой, обед стынет и я уже не поспеваю голоса переключать. Как заработает твоя система так и будешь хвастаться, а сына обманывать сама не хочу, для кармы плохо. Домой идите)
...
источник
Ivan Begtin
Google анонсировали закрытие поиска в Австралии [1] если будет принят закон о плате местным СМИ за указание ссылок в выдаче на их сайты.

Позиция понятная, жёсткая, и показывает самосоознание Google/Alphabet себя как участника переговоров, а не объекта регулирования. Похоже что глобальные цифровые корпорации доросли до нового собственного позиционирования, интересно как дальше это всё пойдет.

Тем временем, интересна и позиция властей Австралии, прогнутся ли они или же надавят, а в Австралию придут Bing (Microsoft), DuckDuckGo, Yandex и другие игроки, готовые играть по правилам страны, а не своим собственным.

Ссылки:
[1] https://about.google/google-in-australia/an-open-letter/

#search #data
источник
Ivan Begtin
Вышел Apache Superset 1.0 [1] важная веха в развитии этого одного из лучших продуктов открытым кодом по Business Intelligence.

В релиз вошли:
- значительное ускорение производительности
- личные лендинговые страницы
- улучшенные дашборды
- графики через Apache eCharts
- удобное REST API

и ещё многое другое.

Из недостатков Superset остался тот что он плохо из коробки работает с NoSQL базами данных вроде MongoDB или ArangoDB, но для этого существует множество коннекторов через инструменты вроде Panoply, Stitch, Presto

Участникам хакатонов и конкурсов на заметку, Superset - это хороший конструктор для быстрой сборки визуальных продуктов. Не стоит стесняться его использовать и его стоит изучать.

Ссылки:
[1] https://github.com/apache/superset

#opensource #bi #data
источник
Ivan Begtin
источник
Ivan Begtin
источник
Ivan Begtin
источник
Ivan Begtin
Алгоритмы во благо это, например, предсказание поломок у жестких дисков с помощью машинного обучения в блоге Datto Engineering [1]. Хороший технический текст, с пониманием возможностей и ограничений.

В нём же ссылка на ещё один важный, но очень специальный набор открытых данных. С 2013 года компания Backblaze публикует очень подробные данные по своим жестким дискам [2]. несколько гигабайт в сжатом виде - это данные собираемые по показателям SMART по каждому диску, бесценны для их производителей и эксплуатантов этих дисков.

Ссылки:
[1] https://datto.engineering/post/predicting-hard-drive-failure-with-machine-learning
[2] https://www.backblaze.com/b2/hard-drive-test-data.html#helpful-hints-and-caveats

#opendata #data #ml
источник
Ivan Begtin
Слов нет. Вернее есть, но все матерные. Тут важно помнить что pravo.gov.ru ведёт ФСО России, охраняющее первых лиц и ещё много чего обеспечивающее. По моему скромному мнению высокий профессионализм службы незаслуженно остаётся без внимания.
источник
Ivan Begtin
Защищайте свои пароли!!!

Есть такой анекдот:

-как же он узнал мой пароль?
-а какой у тебя был пароль?
-год в который Эрик XI Эрикссон вернул себе трон шведского короля после смерти Кнута II.
-а какой это был год?
-тысяча двести тридцать четвёртый.

==========

Специалист по кибербезопасности смог войти в «админку» сайта для публикации российских законов по логину и паролю «admin/admin». Видео того, как он это сделал, опубликовал в своем твиттере.
источник
Ivan Begtin
Статья в Govering "5 Domains of Government That Are Ripe for Transformation" [1] от William D. Eggers из Делойт, как видно из заголовка о 5 направлениях в которых государство созрело для трансформации.

Написано под рынок США/Великобритании и других развитых стран, но актуально для многих.

Какие эти 5 направлений?
- Предоставление услуг (Service delivery)
- Операционное управление (Operations)
- Госполитика и принятие решений (Policy- and decision-making)
- Регуляторика и правоприменение (Regulation and enforcement)
- Таланты и рабочая сила (Talent/workforce)

В статье достаточное число примеров и, если дочитать её до конца, то можно убедиться что многое из написанного там внедряется и у нас в стране. Госуслуги всё более омниканальные (госпортал, мобильное приложение, офисы "Мои документы"), попытки реформировать найм рабочей силы и талантов тоже идут, скорее тяжело, но понемногу.

Ссылки:
[1] https://www.governing.com/next/5-Domains-of-Government-That-Are-Ripe-for-Transformation.html

#government #policy
источник
Ivan Begtin
Научная статья A Taxonomy for Data Ecosystems [1] о том как устроены экосистемы данных с научной точки зрения. Для меня это одна из самых интересных тем, с точки зрения того как экономика данных развивается, как устроены большие общественные и научные проекты экосистем данных.

Авторы пишут об этом не в первый раз, простой поиск в Research Gate даёт ссылки на множественные их публикации и немало других по теме Data Ecosystems можно сейчас найти.

Всё больше идёт к тому что экосистемы данных станут не только объектом научного интереса, но и предметом регулирования

Ссылки:
[1] https://www.researchgate.net/publication/348035570_A_Taxonomy_for_Data_Ecosystems

#data
источник
2021 January 23
Ivan Begtin
Не украли, а потеряли (с) так можно описать ситуацию с удалением 400 тысяч записей о преступлениях, преступниках и их идентификационных данных в системе регистрации преступлений Великобритании [1] [2].

Данные о более чем 26 тысячах записях ДНК о 21,7 тысячах персон, 30 тысячах отпечатков и ещё многие иные записи были удалены из-за технической ошибки. Несмотря на то что техники пытаются восстановить эти данные, ситуация уже вылилась в публичный скандал.

Что характерно, всё произошло из-за человеческой ошибки, а восстановить данные оказалось не так то просто.

Остаётся вопрос - бывают ли подобные ситуации в других странах, например, в России?

Ссылки:
[1] https://www.theguardian.com/politics/2021/jan/16/priti-patel-faces-increasing-pressure-over-deletion-of-police-records
[2] https://www.theguardian.com/politics/2021/jan/15/priti-patel-under-fire-as-150000-police-records-accidentally-lost

#privacy #errors #data
источник
Ivan Begtin
Обзор рынка компаний в кремниевой долине от фонда Initialized [1] о том что пост-пандемическая долина - это не место. Упала стоимость аренды на 24% [2] и налог с продаж на 40% [3]. До пандемии только 20% компаний фонда  были преимущественно дистанционными, сейчас около 36% процентов.

А большая часть основателей говорят что лучшее место для стартапа сейчас - это облако.

И, что характерно, большинство компаний не собираются адаптировать выплаты сотрудникам под стоимость жизни в их регионе.

Ссылки:
[1] https://blog.initialized.com/2021/01/data-post-pandemic-silicon-valley-isnt-a-place/
[2] https://twitter.com/anthemos/status/1346629061150347265
[3] https://www.sfchronicle.com/business/article/Yes-people-are-leaving-San-Francisco-After-15635160.php

#it #market #startups
источник