Не говорите, пожалуйста, что данные это новая нефть! Ну серьёзно.

А то договоритесь до того что Яндекс, Mail.ru, Ростелеком и Мегафон и прочих признают ресурсодобывающими компаниями и им по "списку Белоусова" https://t.me/russica2/8917 тоже подсчитают EBITDA и попросят поделиться с государством "избыточными доходами".

Всё таки их жалко. Немного.

Один из самых простых внешне и сложных внутри общественно полезных проектов которыми я занимался - это "Простой русский язык" http://plainrussian.ru

Это сервис который проверяет текст на предмет его простоты и измеряет эту простоту в годах обучения и возрасте аудитории.

Визуально сервис простой для безобразия, просто форма в которой можно ввести ссылку или, во вкладке рядом, текст и получить измерение сложности по нескольким формулам. Самое сложное в том что в России не было формул измерения этой самой понятности текста. Они есть для английского, испанского, португальского, немецкого и ещё многих языков, но в России не проводились научные исследования, а мне очень хотелось измерять эту понятность и желательно простым образом.

Поэтому много лет назад я потратил несколько месяцев на то чтобы такие формулы адаптировать под русский язык. В статье на Хабре "Что такое «Понятный русский язык» с точки зрения технологий. Заглянем в метрики удобочитаемости текстов" [1] в 2014 году я рассказывал как это делалось. Не имея возможности проверить эти формулы на разных аудиториях, я, по сути, на базе обучающей выборки из текстов внеклассного чтения методом грубого перебора коэффициентов подобрал такие их показатели при которых среднее отклонение расчётного и предобученного значений было минимальным.

Тогда же и появился сервис plainrussian.ru и тогда же было доступно его API [2]. И тогда же я выложил исходный код формул [3], каждый желающий может реализовать это в своём приложении.

А моей изначальной идеей, как ни странно, было автоматически измерить сложность несколько сотен тысяч текстов с государственных сайтов и других источников. Потом, когда оказалось что формулы потребовали не 1-2 дней как я планировал, а нескольких месяцев, то я и не завершил создание базы сложности текстов.

Это один из тех проектов которые, на мой взгляд, могут быть исключительно некоммерческими. Многое можно ещё сделать к нему в довесок. Например, в телеграме @PlainRussianBot написан поверх этого API. Это наш внутренний бот в Инфокультуре для проверки текстов, но его можно использовать и извне. Он понимает команды /help, /url, /text и если ему переслать файл doc то он извлечет из него текст и измерит его сложность.

Ссылки:
[1] https://habr.com/company/infoculture/blog/238875/
[2] https://github.com/ivbeg/readability.io/wiki/API
[3] https://github.com/infoculture/plainrussian

#plainlanguage #plainrussian

Вчера, 10 августа, в эфире на ОТР [1] я обозначил некоторые тезисы насчёт принимаемых госпрограмм, в первую очередь по цифровизации государства, а сейчас повторюсь в том о чём много лет говорю в том что происходит в российском окологосударственном ИТ в связке с тем что вообще происходит.

   Фрагментированность. Все программы: Электронная Россия, Информационное общество и сейчас Цифровая экономика состоят из огромного числа несвязанных мероприятий, с тяжело прослеживаемой логикой между мероприятиями и показателями, а также между показателями и декларируемыми целями.

   Отсутствие общей инфраструктуры. Хуже всего идет с разработкой общих компонентов инфраструктуры, интеграцией системы и тд. Каждое ведомство старается строить свой насколько возможно изолированный от других сегмент. Это не только в России такое происходит. В Великобритании это явление называют "it-mandarin" или "data-mandarin", когда CIO/CDO занимают оборонительную позицию и ориентированы на защиту их бюджетов, а не общее дело.

   Импортозамещение вместо открытого кода. Вместо поддержки и использования проектов на открытом коде декларируется импортозамещение в довольно экзотической форме когда всё равно продаются тяжелые корпоративные решения, вместо поддержки разработки собственных.

   Импортозамещение вместо защиты приватности. Разговоры российских чиновников и бизнеса о защите данных граждан сводятся не к тому что данные граждан не надо собирать, а к тому что вместо зарубежных компаний это должны делать российские компанию. Интересы граждан практически никто не защищает, кроме, обять же, немногочисленных людей внутри того-же государства. Общественные организации или бизнес ориентирующийся на приватность представлены очень слабо.

   Технологический унитаризм. В России всё большее число государственных информационных систем создаются на федеральном уровне, и минуя уровни ниже напрямую стыкуют пользователей системы минуя их региональных регуляторов. Я писал об этом ещё в 2012 году

   Отсутствие гибкой разработки. То что называют agile, по факту, в России сейчас невозможно из-за процедур торгов и процедур изменения госконтрактов. Фактически и в России сейчас гибкая разработка в гос ИТ возможна только in-house. О необходимости глубокой реформы закупок разработки ПО я писал неоднократно.

   Отсутствие общих актуальных стандартов и руководств. Все по прежнему живут в мире ГОСТов 19 и 34 и в куче разрозненных методических рекомендаций. Такого чтобы более-менее унифицированно в одном месте было бы сведены все руководства на развитие систем - такого мало.

Это всё не полный список того что в России происходит минимум последние лет 15. И, к сожалению, именно по этим пунктам сдвига в госполитике нет.

Изначально в моём блоге: https://begtin.tech/it-government/

Ссылки:
[1] https://otr-online.ru/programmy/segodnya-v-rossii/ivan-begtin-33218.html

#digital #privacy

Data discovery - это одна из важнейших тем в работе с данными которой мало учат и мало объясняют. Её смысл в поиске источников данных для Вашего проекта на основанного на данных. Это могут быть данные коммерческие, государственные, общественные и любые иные, главное знать где их находить.

Ещё в прошлом году я занимался таким структурированием по данным государственных финансов, именно по открытым данным, обозначая их хотя бы на верхнем уровне. В результате родилась карта из вопросов и ответов которую я стараюсь поддерживать в актуальном состоянии.

Визуальные карты есть приложением к этому посту и можно также скачать PDF для печати:

- на русском языке http://files.begtin.tech/f/4d1b7fbe9be84304810b/
- на английском языке http://files.begtin.tech/f/30c5e9bcf22844199e84/

Каждое подобное картирование - это очень дорогое удовольствие. Оно занимает очень много времени и требует компетенций не только и не столько в данных, сколько в понимании устройства самой отрасли. И даже в этой карте я охватываю не всё, а только открытую часть, полная карта всех государственных информационных систем куда больше.

По другим областям: здравоохранение, образование, транспорт или банковская система, эти карты окажутся не менее сложными. Когда-нибудь руки дойдут и до них.

Оригинальный текст на: https://begtin.tech/govfinances-map/

#opendata #govfinances

Для всех кто меня расспрашивал про новостного бота в телеграме - инструкция с картинками https://begtin.tech/feedbot/

Интернет компаниям приготовиться. ТАСС сообщает что "ФАС определила долю рынка для монополистов среди российских цифровых платформ" [1] и это будет 35% от рынка, главный вопрос в том как ФАС будет считать эти рынки. Рынок такси или рынок агрегаторов такси? Рынок поисковых систем? Или рынок онлайн коммерции? А может быть рынок онлайн объявлений?

Эта новость мною была давно ожидаемой, интерес государства к Цифровой экономике всегда заканчивается регуляторными ограничениями. Для интернет бизнеса самое время:
1. Резко начать прибедняться. Поубирать с сайтов что мол мы "лидер в xxx по версии xxx". Срочно заказывать публичные исследования рынка показывающие что у них меньше 35% рынка. Я бы даже сказал сверхсрочно. И стараться не светить публичной отчетностью без нужды
2.  Начать вкладываться в GR и срочно формировать GR подразделения тем кто ещё это не сделал. Ходить и общаться придётся не только с ФАС.

Ссылки:
[1] http://tass.ru/ekonomika/5457343

#digitaleconomy #digital #fas

Я с мая ждал когда будет обновление структуры Правительства на сайте, новые полномочия ведомств и тд. Не то чтобы ожидались неожиданности, но в качестве примера про качество госуправления в России, на примере распределения полномочий по вице-премьерам

1. Распределение полномочий на сайте Правительства [1] вместо ясной матрицы, оперирует набором понятий пересекающихся с полномочиями ФОИВов, но не обязательно соответствующими им на 100%. Нет прямого соответствия между вице-премьером Борисовым и "Ростехнадзором", вместо этого упоминаются полномочия "государственной политики в области атомного надзора".

2. Если всё таки сделать такую матрицу то обнаружится что у некоторых ФОИВов не может быть курирующих вице потому что они не вписываются в их полномочия.
Это:
- Минкавказ
- Росархив
- Росфинмониторинг

3. У ряда вице-премьеров вроде Трутнева есть полномочия которые относятся скорее к госпрограммам: "государственной политики в области комплексного социально-экономического развития Арктической зоны Российской Федерации."

Казалось бы должна была быть матрица сопоставления госпрограмм и вице-премьеров и органов власти?

4. В реальности сейчас есть странное смешение документов стратпланирования, госпрограмм, ФЦП, ФАИП и всего остального [2] при этом всё кроме Федеральных целевых программ не имеет "бюджетного кодирования" и в КБК бюджетной росписи не попадает. Анализ того как реально распределяются средства в рамках любого из нац проектов можно только если для этого нац проекта создана специальная информационная система в которую ещё и есть обязанность вносить и инструменты принуждения к внесению.

Ссылки:
[1] http://government.ru/gov/responsibilities/
[2] http://government.ru/rugovclassifier/section/2176/

#government

В качестве рефлексии:
1.Пример паралича госуправления в России можно наблюдать в текущей ситуации с разделением Минобрнауки на Минпросвет и Миннауки и ВО. До сих пор нет сайтов у обоих ведомств, со скрипом приняты положения которые ещё надо найти, куча вопросов по тому как будут разделены подведы, уже сейчас несоблюдение кучи федеральных НПА начиная с 8-ФЗ и не только и ещё многое другое. Какая-то несмешная, но сатирическая ситуация.

2. Много ли государственных информационных систем Роскомнадзор проверил за всё время своего существования? У меня есть подозрение что практически ни одной он не проверял и даже не планировал. С одной стороны государство рвётся в монополию на многие данные, особенно о гражданах, а с другой даже собственного внутреннего надзора не обеспечивает. А там есть на что посмотреть, есть системы в совершенно удручающем состоянии, с утечками перс данных и с проблемами в безопасности.

3. Откуда возникает феноменальная несвязность мероприятий, показателей, объектов, планов и всего остального по госпрограммам и нац проектам и другим госинициативам? От того что у нас "феодальный" бюджет по устройству его распределения. Только вместо земельных вотчин ресурсом являются бюджетные средства (заметьте не деньги, а именно бюджетные средства которые деньгами становятся только после того как покидают счета Федерального казначейства). Участники распределения кровно не заинтересованы в том чтобы часть "их пирога" досталась кому-то ещё и прописывают туда все возможные защитные меры:
- отдельные законы
- свою терминологию
- закупки у ед. источника на много лет вперед
- и многое другое

И здесь у нас возникает парадоксальная ситуация когда Минфин борется с этим вводя и усиливая дополнительные контуры контроля, удерживая максимум средств внутри системы и эти же действия приводят к параличу хозяйственной деятельности потому что все эти ограничения приводят не возможности исполнять обязательства. Так устроен весь госзаказ, так устроена вся внутренняя финансовая и нефинансовая отчётность в гос-ве.

Именно эта борьба Минфина с остальными ГРБСами (теми кто тратит бюджетные средства) и является причиной высокого уровня открытости фин. данных в России. Но даже открытость не позволяет повысить качество написания госпрограмм и не только.

4. За последние пару лет поисчезали из сети почти все сайты ФЦП. Они обычно исчезали моментально, остались те в рамках которых были интерфейсы, например, для передачи результатов или те под которые создавались отдельные операторы ФЦП. Сейчас госпрограммы, нац проекты и тд. даже хуже представлены чем было ранее. Сайт programs.gov.ru сделан очень плохо и, мягко говоря, неполон. А, сайт fcp.economy.gov.ru похоже что доживает свой век и скоро исчезнет и он.

Я лично почти не застал "эпоху застоя", я был ещё совсем маленьким и видел лишь последствия с середины 80-х, не знаю можно ли описать происходящее в России сейчас терминами того времени. Конечно СССР не воспрозводится, конечно госплана нет, конечно слишком многим выгодно наличие частного сектора рядом с государственным и частного сектора вообще, но качество принятия решений, работы госаппарата уже такое что для страны живущей в мирное время неприемлимо.

Есть ещё немало рефлексии и есть что написать, но это уже под большую и подробную статью.

Ведомости пишут о программе "Цифровая экономика" и её бюджете [1]. Как и ожидалось, более половины расходов - это инфраструктура. Из 1,2 триллиона рублей, на инфраструктуру хотят потратить 627,9 миллиарда рублей и всё это в течении 5 лет 2019-2024 годов.

Много это или мало? Это примерно 17,9 миллиарда долларов из которых 9,4 хотят потратить на каналы связи, железо и прочую инфраструктуру по курсу 67,1 рубля за доллар.

Это много. Госпрограмма "Информационное общество" 2011-2020 на 10 лет закладывала расходы в 951 миллиард рублей из которых 509,9 были направлены на инфраструктуру [2]

Когда программа утверждалась курс доллара был порядка 31,6 рубля за доллар и общая стоимость программы была 30 миллиардов долларов из которых 16 миллиардов были направлены на инфраструктуру. При этом курс доллара вырастал с конца 2014 года и реальные расходы в долларовом эквиваленте были ниже, но в любом случае выше чем у программы Цифровая экономика запланировано сейчас.

Почему измерение в долларах важно? Значительная часть расходов на инфраструктуру - это железо которое производят и закупают не в России через системных интеграторов, а даже если закупают в России, то почти все комплектующие зарубежные.  Впрочем это касалось и других частей программы где закупка зарубежного ПО имеет место быть и не стоит полагать что российское "импортозамещённое" ПО эти расходы снижает.

Я сейчас быстро не найду структуру ФЦП "Электронная Россия", её результаты вообще в очень куцом объёме остались в открытом доступе, но картина там будет очень похожая.

Поэтому отвечая на вопрос - отличается ли чем-либо программа "Цифровая экономика" от того что было до неё - ответ короткий.

Не отличается.

Ссылки:
[1] https://www.vedomosti.ru/economics/articles/2018/08/20/778600-v
[2] https://programs.gov.ru/Portal/programs/passport/23

#digitaleconomy

Бюджет австралийского Digital Transformation Agency составляет  70.1 миллион AUD, австралийских долларов на 4 года, что по курсу ЦБ в 49.1 рублей за AUD и общая сумма чуть менее 3,5 миллиардов рублей[1].

Из них 15.2 миллиона AUD (746 миллиона руб) уходит на сервис Govpass, для достоверной идентификации австралийцев онлайн.

Ещё 10,7 миллиона AUD (501 миллион руб) уходит на тему обеспечения информационной безопасности.

В целом федеральный бюджет Австралии превосходит Российский в 1.8 раз [2]

В бюджете заложены расходы в $2.4 миллиарда AUD на 12 (!) лет на умную экономику - цифровые сервисы, AI и многое  другое. Это примерно 118 миллиардов в рублях или примерно по 9,8 миллиардов рублей в год. [3]

Ещё 65 миллионов AUD (3.2 миллиарда рублей) направляется на создание National Data Comission которая будет осуществлять надзор за использованием государственных данных. [4]. В ближайшее время готовится закон Data Sharing and Release Act который сведет воедино все 500 ограничений приватности и секретности разбросанных по другим НПА.

И в цифрах и фактах:
- население Австралии 24 миллиона человек [5]
- номинальный ВВП (2015 г.) составляет 1.2 триллиона долларов (что лишь чуть меньше российского) [6]
- Австралия входит в Digital 5 (D5) пятёрку стран лидеров цифровой трансформации [7]

Всё это, конечно, хорошо читать в контексте статьи в Ведомостях о программе цифровой экономики в России.

Ссылки:
[1] https://www.dta.gov.au/what-we-do/budget/
[2] https://en.wikipedia.org/wiki/List_of_countries_by_government_budget
[3] https://www.budget.gov.au/2018-19/content/overview.html
[4] https://psnews.com.au/2018/08/13/data-commissioner-to-safeguard-data/
[5] https://ru.wikipedia.org/wiki/Австралия
[6] https://ru.wikipedia.org/wiki/Список_стран_по_ВВП_(номинал)
[7] https://en.wikipedia.org/wiki/Digital_5

#opendata #opengov #data #digitalgov

В продолжение австралийского опыта. В Австралии как и в России ведётся учёт государственных структур. Не так тщательно и подробно и со всеми реквизитами как в России, но гораздо полнее.

В России реестр (почти) всех организаций относящихся к государственному сектору находится в специальном реестре со сложным названием "Реестр участников бюджетного процесса, а также юридических лиц, не являющихся участниками бюджетного процесса" на Едином портале бюджетной системы [1]. Надо отдать должное Минфину и Казначейству - это наиболее подробный регистр всех госорганизаций в России. Они внесены туда со всеми реквизитами для их учёта.

Организаций федерального уровня в этом реестре чуть более 22 тысяч, это включает все организации имеющие отдельное юридическое лицо или выступающие филиалом юридического лица.

Казалось бы, не так много.

Для сравнения единый реестр government bodies в Австралии доступен на портале Directory [2], а также его можно скачать в виде CSV файла набора данных [3].

В этом реестре будет, Вы не поверите, всего 1264 организации, в 17 раз меньше чем в российском реестре. Но и это ещё не всё. Австралийский реестр включает не только юридические лица, но non-corporate bodies. Например, там перечислены многочисленные рабочие группы (working group / task group), комитеты, советы, экспертные группы и комиссии. Потому что это только в России принято что рабочие группы существуют без бюджета, а в других странах все понимают что рабочая группа без бюджета может состоять только из лоббистов с большими личными бюджетами.

В австралийском реестре таких структур 472, более 34% от общего списка.  А если в России проинвентаризировать сколько существует межведомственных рабочих групп, экспертных, общественных, научных, консультативных и иных советов при органах власти, сколько комиссий и комитетов, разумеется отдельно в бюджетах не прописанных и съедающих до 70-80% времени участников, то станет понятно в какую пыль истирается множество усилий.

А если финально сравнивать по числу организаций, то 792 government body в Австралии и 22375 участников бюджетного процесса в России - это разница в 28 раз.
И это только центральное (федеральное) правительство.

Допустимо ли сравнение? Разница в населении у нас в 6 раз, в ВВП нет разницы, федеральные бюджет Австралии больше российского в 1,8 раз, а территории очень близки по масштабам.  

Выводы можете сделать сами.

В следующий раз я подберу сравнение с какой-либо страной ещё ближе к России по населению и ВВП, например Канадой.

Ссылки:
[1] http://budget.gov.ru
[2] https://www.directory.gov.au
[3] https://data.gov.au/dataset/australian-government-organisations-register

#government #data

Кому нужна демократия когда есть данные? Свежая статья в Technology Review [1] о китайской победе технократов использующих данные для массовой слежки.

Тема Китая и приватности всё более доминирует в медиа США и Великобритании, не без оснований поскольку Китай активно экспортирует технологии во все страны которым оказывают поддержку, в основном на африканском континенте.

Не стоит недооценивать этот тренд. Коллосальная неэффективность российской правоохранительной системы - это чуть ли не единственная защита от внедрения в жизнь подобных технологий.

Ссылки:
[1] https://www.technologyreview.com/s/611815/who-needs-democracy-when-you-have-data/

#privacy #china

Немного о данных из другого мира

28 августа у нас (Инфокультуры) будет семинар про то как НКО публиковать данные в рамках проекта Данные НКО [1] который в этом году реализует НП "Информационная культура"

А я добавлю сюда что мы как НКО опубликовали там 35 наборов данных [2] и будем публиковать больше. У нас, как и у многих организаций, всё сталкивается с самоорганизацией того как систематизировать создаваемое.

Поэтому если Вы заглянете в список наших проектов на [3] и подскажете что ещё из данных наших проектов было бы полезно, то напишите тут комментарием, мне в телеграм в https://t.me/ibegtin или письмом на infoculture@infoculture.ru

Также если Вы знаете что какая-то НКО владеет данными которые были бы очень полезны для исследований или проектов - пишите нам, мы с ними будем связываться и убеждать.

Я напомню также что мы ведём проект Хаба открытых данных [4] который выступает агрегатором данных и в который мы будем собирать данные отвсюду включая проект Данные НКО

Ссылки:
[1] http://ngodata.ru
[2] http://ngodata.ru/organization/infoculture
[3] https://www.infoculture.ru/projects/
[4] http://hubofdata.ru

#opendata #ngodata

Сегодня частично не работают Госуслуги. Не так страшно что это происходит, как то что причины сбоев детально и очень подробно не рассказываются и не разъясняется что с этим делать дальше.

На Cnews вышло интервью [1] Елены Черняковой, директором департамента информационных технологий Минфина России о законопроекте о систематизации и гармонизации информации

Очень советую его почитать, чтобы понимать позицию самого сильного на сегодня игрока в части цифровизации государства и находящего в позиции одновременно кассира дающего деньги на проекты другим ведомствам и самостоятельного игрока пытающегося на себя перетянуть часть повестки.

Я ранее комментировал этот законопроект Ведомостям (" Минфину не дают стать Большим братом") [2] и сейчас могу повторить что у Минфина всё очень плохо с коммуникацией и  привычка в обещению с бизнесом невысокая. Вместо того чтобы собрать хотя бы пару встреч с теми кого этот законопроект затронет, они его просто "потащили тараном" и получили отрицательные отзывы от кучи ФОИВов и публичную критику правительства Москвы.


Ссылки:
[1] http://www.cnews.ru/articles/2018-08-22_kak_minfin_navodit_poryadok_v_dannyh_o_naselenii_i_yurlitsah
[2] https://www.vedomosti.ru/technology/articles/2018/08/07/777504-minfinu-bolshim-bratom

#data #minfin

Странно что в AeroNet НТИ [1] не попадают такие проекты. Настоящие новации и инвестиции в России в области авиации будут в борьбе с беспилотниками.

Ссылки:
[1] http://www.nti2035.ru/markets/aeronet

#aero

Ростех представил радиоэлектронную пушку «СЕРП» для выведения из строя беспилотников
http://rostec.ru/news/rostekh-predstavil-radioelektronnuyu-pushku-serp-dlya-vyvedeniya-iz-stroya-bespilotnikov/

Система обеспечивает подавление бортовой аппаратуры дронов на расстоянии до 20
км

Как должна быть устроена работа на систематизацией и гармонизацией информации в России. Кто должен этим заниматься?
public poll

Только не Минфин России! – 41
👍👍👍👍👍👍👍 84%

Конечно Минфин России! – 8
👍 16%

👥 49 people voted so far.