MRG (Mail.Ru Group) выпустили то что они называют СУБД в облака - облачный сервис для работы с данными [1]. Через сервис предоставляют MySQL и PostgreSQL [2], а MongoDB, Tarantool и Galera обещают по запросу.

Это хорошая новость что российский рынок облачных сервисов развивается и как-минимум 2 российских игрока Яндекс и Mail.ru развивают эти сервисы. Я искренне надеюсь что к ним подтянутся и другие.

Но, не могу Вам не напомнить, что прежде чем использовать сервис Mail.ru внимательно почитайте условия использования [3]. Внимательное чтение условия Яндекс.Облака, например, меня остановило от регистрации там [4], [5]. Условия использования Mail.ru лично я ещё не вычитывал подробно, но подозреваю что тут всё будет также не гладко.

Увы, ничто кроме конкуренции не заставит "толстых котов" Рунета писать условия использования не под себя, а с учётом интересов клиентов.

Ссылки:
[1] https://corp.mail.ru/ru/press/releases/10343/
[2] https://mcs.mail.ru/databases
[3] https://help.mail.ru/mcs/legal/termofuse
[4] https://t.me/begtin/1098
[5] https://t.me/begtin/1093

#data #paas

Это очень интересный материал, жаль лишь что сам Вконтакте входящий в Mail.ru Group не имеет исследовательского отдела и какого-либо взаимодействия с академическими учреждениями. Внешние данные могут дать очень многое, но даже деперсонализированные данные из Вконтакте могут дать гораздо больше, хотя и понятно что не могут быть открытыми в некоторых аспектах.

​​📈Из каких городов переезжают жить в Москву

Год назад, тогда еще в «ДП», вышел мой материал о том, из каких городов переезжают в Петербург. Теперь вышла вторая серия про Москву - в Strelka Magazine. Все как в прошлый раз: анализ профилей «Вконтакте», сравнение родного города и города проживания. Прокачал работу с точки зрения экспертной оценки - Никита Мкртчян и Надежда Замятина помогли лучше интерпретировать данные. Поменял инструменты визуализации: сделал все в Datawrapper, мобильная версия стала приятнее.

Смотреть: https://clck.ru/ES3zx

Напомню что в репозитории govdomains на github [1] находится наиболее полный на сегодняшний день реестр доменов относящихся к органам власти РФ. Сейчас он актуализирован и довольно существенно пополнился.

В общей сложности это 13766 доменов федерального уровня и 57 субъектов федерации. Охватываются домены относящиеся к органам власти, государственным информационным системам, госпрограммам и разного рода другим госпроектам.

Пока не охвачены все субъекты, но это только вопрос времени.

Зачем нужен этот репозиторий? Вот лишь несколько применений:
1. Архивация официальных сайтов органов власти и их проектов.
2. Мониторинг качества официальных сайтов. Например, наличия HTTPS и качества подключения HTTPS по аналогии с проектом pulse.cio.gov
3. Мониторинг того какой хостинг и сервисы использует государство. Не хостятся ли российские госсайты в странах НАТО например (шутка).
4. Мониторинг не попадают ли госсайты под блокировки Роскомнадзора.
5. Проверка официальных email'ов представителей власти. Такое исследование мы ранее делали, выяснили что у большинства госорганов официальная почта на mail.ru

И так далее. Основное применение для Национального цифрового архива России [2], но может пригодится и другим исследователям Рунета.

Ссылки:
[1] https://github.com/infoculture/govdomains
[2] http://ruarxive.org

#opendata #opengov #domains #digitalpreservation

Так сложилось что то чем я занимаюсь и то о чём я пишу в СМИ - очень разные темы. Вот и сейчас в Republic вышла моя колонка " Цифровой профиль и анфас. Будет ли в России свой Синьцзян?" [1] о госинициативах об отечественных антивирусах и о цифровом профиле.

Тема большая, пока малораскрытая в России, о том какие данные граждан и где собираются, о том как общесистемное и специализированное ПО следит за пользователями и не только. Но важнее тут другое. Права граждан в защите от слежки, коммерческой или государственной, сейчас никто не защищает. Максимум что можно услышать - это "пусть вместо западных супостатов за нами следят наши супостаты". А сценарий чтобы никто не следил будет ли когда-либо теперь в нашей жизни? Bли всё, цифровой апокалипсис давно наступил, просто незаметен?

Ссылки:
[1] https://republic.ru/posts/92148

#privacy

В Новой Зеландии открыли электронную торговую площадку (marketplace) для облачных услуг [1]. Площадка, как бы не могло показаться, открытой не является. В отличие от российской практики все реестры, закупки и уведомления поставщиков там не публичны, что-либо узнать о внутренностях можно только после авторизации [2]. Это является общепринятой англосаксонской практикой (встречается в Великобритании, Австралии, Канаде, Новой Зеландии) когда системы раскрытия информации и системы коммуникации разделены, а защита коммерческой тайны не менее важна чем открытость государства.

В чём отличия этой площадки от других? Там всё происходит только онлайн, я имею в виду совсем всё, включая поставку цифровых продуктов.


Ссылки:
[1] https://webtoolkit.govt.nz/blog/marketplace-launches/
[2] http://www.marketplace.govt.nz

#procurement #ict

Вышла новая редакция рейтинга стран по открытости данных - Open Data Barometer [1] я как мог оттягивал того чтобы написать об этом, ожидая того что напишут другие и как отреагируют.

Имеет смысл не только обратить внимание на то что Россия на 16-м месте в этом рейтинге [2], но и на профиль страны с детальным пояснением [3]

Оценка России достаточно высока, но, можно обратить внимание что достигнута она не благодаря, а скорее вопреки деятельности открытого пр-ва в последние годы.

Не оно обеспечило высокую доступность данных о бюджете и о госконтрактах - это заслуги Минфина России. Данные международной торговли доступны благодаря Федеральной Таможенной службе (снова Минфин, это его подведомственная служба)
Данные криминальной статистики раскрывала Генпрокуратура на crimestat.ru и без Открытого пр-ва и так по всем пунктам.

Так что куда денется тема открытых данных? Никуда она не денется.

Ссылки:
[1] https://opendatabarometer.org/
[2] https://opendatabarometer.org/leadersedition/report/
[3] https://opendatabarometer.org/country-detail/?_year=2017&indicator=ODB&detail=RUS

#opendata #opengov

Вышла версия 2.0 браузера Vivaldi [1] претендующего на максимальную приватность, во второй версии много изменений, в основном про удобство.

Браузер ориентированный на приватность - это очень хорошо, для полного счастья не хватает ещё и чтобы связанные с таким браузером сервисы тоже можно было бы от него отделять. Например, все браузеры сейчас синхронизуют устройства предлагаю включить сервисы синхронизации. Но пока ни один не предлагает возможность развернуть самому такой сервис синхронизации для себя лично или, за деньги, в корпоративных целях в рамках компании.

P.S. Поправка, у Mozilla есть сервис синхронизации [2]. Спасибо внимательному читателю за подсказку!

Ссылки:
[1] https://vivaldi.com/ru/press/releases/vivaldi-browser-launches-2-0/
[2] https://github.com/mozilla-services/syncserver

#privacy

Два важных преданонса:
1. Мы уже начали планировать День открытых данных в 2019 году. В ближайшие месяцы определимся с программой, в зависимости от программы, с площадкой и с форматом. У нас есть формат этого года с направлениями: Бизнес, Государство, НКО, Город и Журналистика. Как это будет в 2019 году? Уже начинаем думать над этим.
Форматы могут быть разные. Можно вместо этого взять направления: здравоохранение, образование, транспорт, журналистика. Можно ещё как-то. В любом случае ещё есть время определиться.

Присылайте Ваши идеи и предложения на infoculture@infoculture.ru

2. В одну из ближайших встреч ДатаСреды мы хотим поднять вопрос о доступности и принципах работы Цифровых библиотек и цифровых архивов. Пока обсуждаем как и где лучше сделать акценты. Хочется поговорить и о нашем Национальный цифровой архив России и о том что в принципе важно делать в части доступности цифрового нац. достояния. В первую очередь это касается даже не оцифровки офлайнового, а в сохранении цифрового онлайнового.

Пишите на infoculture@infoculture.ru если у Вас будут идеи по мероприятию, готовность выступить и рассказать и вообще идеи по цифровой архивации/работе с долгосрочной доступностью цифрового контента.

#opendata #opendataday #digitalpreservation

Для журнала "Метод" мы подготовили Рейтинг автономности регионов по 44-ФЗ за 2017 год.

Проект Комитета гражданских инициатив «ГосЗатраты» существует более четырех лет. Изначально он был открытой базой всех государственных контрактов, закупок, поставщиков и госзаказчиков и предоставлял возможность пользователям просматривать информацию о каждом контракте и каждой организации — участнике госзаказа.

В рамках проекта мы довольно давно наблюдаем за самыми разными показателями устройства государственных финансов в России. И мы обнаружили, что многие контракты органов власти субъектов Федерации, причем довольно крупных, заключаются с компаниями ведущих экономических или промышленных центров, в первую очередь из Москвы и Санкт-Петербурга. В то же время во многих регионах картина совершенно иная: почти все средства заказчиков любого уровня (федеральных, субъекта Федерации и муниципальных) оставались поставщикам этого региона.

Мы решили назвать это явление автоном­ностью регионов. Другое возможное определение — самодостаточность региона. Явление характеризует то, насколько развита и как устроена экономика субъекта Федерации, а также то, насколько она «замкнута» с точки зрения распределения государственного заказа.
При разработке рейтинга мы сформулировали несколько гипотез:

- чем дальше от Москвы, тем меньше контрактов (и денег) уходит московским поставщикам;
- большая часть денег по контрактам в СЗФО уходит в Санкт-Петербург;
- регионы сильно связаны между собой, и значительная часть контрактов должна уходить за пределы субъекта Федерации;
- контракты с поставщиками своего региона не превысят 50% всех средств госзаказа в регионе.

Далеко не все эти предположения оправдались. Так, оказалось, что в 63 регионах более 50% средств идет местным поставщикам, причем у семи из них остается более 75% средств.
У ряда субъектов значительная часть средств не остается в регионе, но и не уходит в Москву или Санкт-Петербург. Это Астраханская область (53%), Севастополь (42%) и Хабаровский край (37%).

Обращает на себя внимание доля поставщиков из Москвы в контрактах Магаданской области и Чукотского автономного округа (по 32%) от общей суммы всех контрактов. Некоторые другие интересные детали наверняка бросятся в глаза читателю, хорошо знающему специфику конкретных территорий.

Безусловно, этот рейтинг далеко не дает полной картины. Например, поскольку у него нет отраслевого разреза, нельзя сказать, какая доля госзаказа формируется строительными контрактами, а какая — контрактами на разработку ИТ-систем. Углубленный анализ позволил бы сформировать полный контрактный профиль субъекта Федерации с информацией о его связанности с другими регионами страны.

Ознакомиться с рейтингом можно по ссылке: http://amp.gs/hBAF

Я наконец-то собрался и сделал рейтинг открытости стран по открытости исходного кода их информационных систем и вообще их политике открытой разработки.

Вот тут подробная заметка [1], а вот некоторые факты

- 58 правительств публикуют код на GitHub через 730 организаций разместивших 21 222 репозиториев кода с общим числом наблюдателей в 109 307 человек и общим числом участников в 2 052 человека, общий объём опубликованного кода составляет 303 Гигабайта, а всего ошибок и задач внесено в количестве 65 476 штук.
- львиная доля активности и кода публикуется органами власти США. Это 239 организаций (32% от общего числа) разместивших 6345 репозиториев (29,8% от общего числа) в общем объёме кода в 147 Гигабайт (45% от общего объёма) и с 1080 разработчиками ведующими активную разработку кода (52% от общего числа)
- на втором месте Великобритания с отрывом вдвое, и далее Канада, Австралия и Франция.
- открытый код публикуется всеми правительствами стран Большой семерки: США, Канада, Италия, Великобритания, Германия, Франция, Япония.
- открытый код публикуется всеми правительствами стран Большой двадцатки (G20) кроме: Турции, Индонезии, Китая, Южной Кореи и России

Все первичные данные есть по ссылке [2], а таблицу рейтинга можно увидеть здесь [3]

Ссылки:
[1] https://begtin.tech/osgrating/
[2] https://hubofdata.ru/dataset/osgdata
[3] https://datawrapper.dwcdn.net/9JBvr/1/

#opengov #opendata #opensource

Хочешь рассмешить Бога, расскажи ему о своих планах (c)

Итак план мероприятий на октябрь в которых я принимаю участие:
- 3 октября - Осенний навигатор АСИ [1] Лекция про работу с данными, буду рассказывать о том как искать, находить, обрабатывать и анализировать данные. В первую очередь в контексте субъектов федерации и федеральной власти, но и не только.
- 6 октября Spending Sprint [2]. Однодневный ускоренный хакатон по работе с данными госфинансов
- 10-11 октября Томск, Форум U-NOVUS 2018 [3] несколько лекций и семинар про данные для госчиновников и депутатов. О том что такое CDO и CDTO
- 17 октября. Предварительно, Дата среда по архивам и библиотекам в Интернете [4]
- 20-21 октября Хакатон Мосфиндата [5]
- 25 октября Ежегодная конференция Форума Доноров [6] о том как работать с данными НКО

Программу ноября я напишу ещё позднее

Ссылки:
[1] https://leader-id.ru/page/navigator
[2] https://www.facebook.com/events/293990154752559/
[3] http://u-novus.ru
[4] http://datasreda.ru
[5] http://mosfindata.ru
[6] http://www.donorsforum.ru/projects/conference/


#data #opendata

В России до сих пор проекты состоящие только из базы данных, без иного продукта до сих пор не воспринимаются как общественные проекты. А тем временем в США Urban Institute [1] создали проект открытых данных по образованию Education Data Portal [2] которые отдаёт API с данными по школам, школьным округам и колледжам.  Это некоммерческий проект с финансированием от Overdeck Family Foundation, что характерно, его потребители не граждане, а ИТшники, программисты, которые на его основе сделают свои проекты.

Ссылки:
[1] https://www.urban.org
[2] https://educationdata.urban.org/documentation/

#data #opendata

Ещё один способ рассказывать об открытых данных - это периодическая таблица влияния открытых данных (Periodic table of open data impact factors) [1].

The GovLab, авторы такой карты, умеют правильно расставлять акценты не на технических аспектах работы с открытыми данными.

Ссылки:
[1] http://odimpact.org/periodic-table.html

#opendata

Объём информационного бизнеса в Испании составляет  1.7 миллиардов евро, это примерно 128 миллиардов рублей. Это всё и конкретные примеры можно узнать из отчёта Asedie. Informe Sector Infomediario 2018 [1] выпускаемого ассоциацией ASEDIE.

Ссылки:
[1] http://www.asedie.es/assets/informe-sector-infomediario-2018.pdf

#opendata

Tim Berners-Lee анонсировал Solid [1], это сервис, сервер и приложения позволяющие создать экосистему при которой пользователь сам контролирует свои данные. Важный шаг, но насколько возможен такой мир? Сейчас дата-корпорации контролируют безусловно большую часть перс-данных пользователей. Пользователи имеют лишь малую долю контроля, иногда имея права экспортировать свои данные. Возможна ли модель которую Тим продвигает? Я не знаю, но определенно согласен с тем что она лучше имеющейся.  

Ссылки:
[1] https://www.inrupt.com/blog/one-small-step-for-the-web

#privacy

Зачем нужна архивация веб-сайтов? Например, для того чтобы исправлять ссылки в википедии когда исчезают опубликованные статьи на которые указывают ссылки на страницах Википедии. Бот IABot от Internet Archive находит и исправляет такие ссылки [1], на сегодняшний день он исправил более 9 миллионов ссылок в статьях на 32 языках.

Ссылки:
[1] https://meta.wikimedia.org/wiki/InternetArchiveBot
[2] http://blog.archive.org/2018/10/01/more-than-9-million-broken-links-on-wikipedia-are-now-rescued/

#digitalpreservation

VentureBeat пишет о том что китайские спецслужбы внедряли специальные чипы для дистанционного контроля серверов на базе Supermicro [1], ссылаются на большой материал Bloomberg [2] где всё подробно рассказано. Да, что и говорить, китайские спецслужбы, в отличие от российских, показывают немалую изворотливость и способность играть в длинную историю с внедрением таких чипов.

А многочисленные издания пишут о рутките LoJax [3] который ESET выловили на днях и в котором обнаружили опасную способность внедряться в BIOS материнских плат, в то что называют UEFI (Extensible Firmware Interface) [4] используемый для управления операционными системами и работающий на уровне выше ОС, что позволяет через него контролировать компьютер и избегать внимания антивирусов.

Ссылки:
[1] https://venturebeat.com/2018/10/04/china-reportedly-hacked-supermicro-servers-used-by-apple-and-amazon/
[2] https://www.bloomberg.com/news/features/2018-10-04/the-big-hack-how-china-used-a-tiny-chip-to-infiltrate-america-s-top-companies
[3] https://www.welivesecurity.com/2018/09/27/lojax-first-uefi-rootkit-found-wild-courtesy-sednit-group/
[4] https://ru.wikipedia.org/wiki/Extensible_Firmware_Interface

#privacy #security