На портале открытых данных Европейского союза появился дашборд и рейтинг открытости, вернее качества открытости, порталов стран членов [1]. Рейтинг включает оценку стран по таким критериям как:
- Open Data Readiness - Policy
- Portal Maturity
- Open Data Readiness - Impact

и включает множество экспертных критериев оценки каждого из порталов, а также отдельные отчёты по каждой стране.
Полная версия отчёта в PDF [2], а сам отчёт был подготовлен в  Capgemini Consulting по заказу Европейской комиссии.


Ссылки:
[1] https://www.europeandataportal.eu/en/dashboard#tab-country-overview
[2] https://www.europeandataportal.eu/sites/default/files/edp_landscaping_insight_report_n2_2016.pdf

#opendata #opengov

Мало кто в России знает что тема открытых данных в мире стала столь активна и столь широко развиваться гораздо раньше того как ей стали заниматься государства. Формальные и неформальные организации которые можно назвать общим термином «civil hackers» в течении многих лет прилагали усилия к появлению открытых данных собирая их с официальных сайтов госорганов и предоставляя всем желающим.

Самыми известными такими группами можно назвать Sunlight Labs [1] и Open Knowledge International [2], но они не были единственными и названия многих из и род деятельности многим окажутся в новинку. Вот неполный их список:

- The Department of Better Technology (Департамент лучших технологий) [3] - небольшая технологическая компания помогающая государственным органам улучшать их услуги. Также они являются компанией с открытым исходным кодом и публикуют множество собственных проектов на github [4].

- The United States (Соединённые Штаты) [5] совместный проект по сбору данных о конгрессменах и законах и другой информации используемой СМИ и крупнейшими НКО в США. В проекте участвует более 100 разработчиков из разных СМИ и НКО. Их код доступен на github [6]

- State Decoded (Раскодированное государство) [7] вот уже много лет превращают в открытые данные федеральные законы и законы штатов в США. Их код [8]

- Open City [9] - большая команда активистов в городе Чикаго регулярно собирающиеся и создающие городские приложения с открытым кодом [10]

А также проекты имеющие открытые команды на github’е:
- rOpenGov - https://github.com/ropengov
- Open Australia Foundation - https://github.com/openaustralia
- Open State Foundation - https://github.com/openstate
- LocalData - https://github.com/localdata
- DataViz - https://github.com/dataviz

И десятки других.

В России к гражданским хакерам можно отнести Инфокультуру с нашим открытыми репозиториями кода [11].

Ссылки:
[1] https://sunlightfoundation.com
[2] https://okfn.org
[3] https://www.dobt.co
[4] https://github.com/dobtco
[5] https://theunitedstates.io
[6] https://github.com/unitedstates
[7] https://www.statedecoded.com
[8] https://github.com/statedecoded
[9] http://opencityapps.org
[10] https://github.com/open-city
[11] https://github.com/infoculture

#opendata #opengov #opensource

Итак, друзья, свершилось. 22-23 октября в Москве пройдёт хакатон по Открытым данным криминальной статистики. В первую очередь это будут данные по криминальной статистике + к ним будут данные по ДТП по всей России. Во первых многие эти данные Вы уже видели, а во вторых к началу хакатона будут ещё.

Пока читайте анонс тут https://openpolice.ru/news/hakaton-po-dannym-kriminalnoj-statistiki/
и регистрируйтесь тут https://infoculture.timepad.ru/event/386619/

Что можно с этим сделать?
1. Если Вы умеете программировать или делать визуализации - приходите!
2. Если у Вас есть идеи что можно сделать - присылайте нам, мы к началу хакатона разошлём всем участникам Ваши и ранее собранные нами идеи.
3. Если у Вас есть какие-то предложения по данным которых пока нет, но Вы можете предложить - пишите нам на infoculture@infoculture.ru

И, конечно, помните - что данные о преступности - это самые интересные данные! Во первых - это данные о качестве жизни, а во вторых очень скоро государства научаться предсказывать преступления и это само по себе повод погрузится в увлекательный мир криминальной статистики!

#opendata #opengov #openpolice

В Австралии рассматривают законопроект о привлечении к ответственности с заключением на 2 года за «повторную идентификацию» (re-identification) граждан на основе общедоступной информации.

Например, орган власти или сам человек размещает о себе информацию не содержащую персональные данные, а далее умные алгоритмы собирают их разрозненных данных профиль пользователя. Обо всём этом пишет австралийская Itnews [1], а сам законопроект можно посмотреть по ссылке [2].

Ссылки:
[1] http://www.itnews.com.au/news/brandis-wants-two-year-jail-sentence-for-re-identifying-govt-data-439295?utm_content=buffer3c8c8&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer
[2] http://www.aph.gov.au/Parliamentary_Business/Bills_Legislation/Bills_Search_Results/Result?bId=s1047

#opendata #opengov #privacy

Я уже писал ранее про открытый код государств и это тема куда большая чем можно было бы говорить раньше. более 11600 репозиториев кода опубликовано государственными структурами и этот список постоянно пополняется.

Одно из очень существенных изменений в открытости государства, данных и открытого кода государств - это возможный закат технологических НКО. Технологические проекты, в отличие от мероприятий, издания книг, просветительских проектов и так далее, технологические проекты требуют постоянных и существенных расходов на команды разработчиков. Некоторым НКО и группам добровольцев удаётся объединяться и формировать такие команды, но структурам вроде Sunlight Foundation рано или поздно это стало неподъёмным грузом.

Технологические СМИ сейчас активно конкурируют за реорганизацию публичности государства со структурами внутри самого государства.
Вот лишь некоторые цифры которые я могу привести по масштабам открытости кода за последние годы взятых по результатам анализа репозиториев кода на Github.

Статистика организаций
- United States  379
- Civic                 245
- Rest of the world 151
- European Union   98
- UK                       73

Civic - это гражданские организации такие как Code for America, Open Knowledge International и другие

Число открытых проектов (репозиториев)
- United States       4307
- Civic                      3295
- Rest of the world 1483
- UK                         1347
- European Union   1135

И по уровню среднегодовой активности
- Civic                      33
- United States       32
- UK                         31
- European Union   29
- Rest of the world 15

Также есть множество других цифр по странам и по отдельным организациям, в лидерах, конечно же, США и Великобритания и плюс подтягиваются страны Евросоюза.

Интересны и наиболее активные проекты:
- EveryPolitician-data - репозиторий данных для проекта EveryPolitician с данными по каждому политику https://github.com/everypolitician/everypolitician-data
- Igov.org.ua - портал госуслуг Украины создаваемый активистами - https://github.com/e-government-ua/i
- Digitransit Система маршрутов в Финляндии в виде онлайн приложения https://github.com/HSLdevcom/digitransit-ui

И самые наблюдаемые (по числу подписчиков)
- Dshell - инструмент проверки безопасности сетей - https://github.com/usarmyresearchlab/Dshell - 4770 подписчика
- Zfs - файловая система ZFS для Linux'а - https://github.com/zfsonlinux/zfs - 2080 подписчика
- API Standards - стандарты разработки API от CTO Белого Дома - https://github.com/whitehouse/api-standards - 1771 подписчик

Можно обратить внимание что многие код исходящий от правительственных структур является не просто раскрытием кода в рамках госпроектов, а участие исследовательских лабораторий в создании и развитии текущих экосистем, таких как Linux

В общей совокупности сейчас, например, органы власти США раскрывают больше исходного кода чем десятки и сотни НКО и независимых групп активистов.

Лично я не представляю как добиться чтобы открытый код стал бы частью госполитики в России

#opendata #opensource #opengov

В Ведомостях вышла моя статья о праве знать о преступлениях. О том что мы что-то существующие требования к раскрытию информации о преступном прошлом недостаточны [1].

Более 4-х лет бьюсь за то чтобы данные криминальной статистики и, в принципе, правоохранительные данные были бы общедоступны. В феврале 2013 года я именно о проблеме доступа к этой информации говорил на встрече у Дмитрия Медведева про открытые данные [2].  

После этого было несколько встреч с представителями МВД и других органов власти, они активно сопротивлялись даже предоставить информацию о том как устроены их информационные системы и не были готовы раскрывать вообще никакой информации.

Единственным способом диалога с ними было и остаётся - изучение того как же работает их сбор статистики. И на это ушло немало времени. Но процесс пошёл, что немаловажно. Кроме МВД есть ещё и данные их отдельных подразделений в виде ГИБДД, которые уже раскрываются. Есть высочайший уровень информатизации в ФССП, есть Генпрокуратура которая также собирает криминальную статистику и множество ведомств собирающих данные о административных правонарушениях.

Хотел бы я, конечно, чтобы этот путь был бы короче. Я уже потратил на тему открытых данных и общественные проекты более 7 лет своей жизни и мне уже скоро будет пора писать мемуары о том что получилось и то что нет.

Ссылки:
[1] http://www.vedomosti.ru/opinion/articles/2016/10/17/661144-pravo-znat
[2] http://archive.government.ru/special/docs/22683/

#opendata #opengov

Проект о котором я писал несколько лет назад и не потерявший своей актуальности - это Civic Graph [1]. Небольшой проект от одной из команд Microsoft полностью написанный на Python + Javascript где с помощью D3JS в виде графа визуализируются взаимоотношения между НКО, госорганами, коммерческими компаниями и отдельными гражданами в том что касается развития гражданских технологий (civic tech).

У проекта хорошо организованная визуализация и возможность увидеть всю картину целиком. Плюс влияние организаций отображено, или через число сотрудников, или через число подписчиков в Twitter.

Большая часть проектов там и персон - все связаны с работой с открытыми данными. Другие с визуальным представлением информации и её сбором.

Лично мне Civic Graph нравится возможностью найти информацию о неизвестных и интересных проектах.

Ссылки:
[1] http://civicgraph.io/

Развлечения ради, разбавлю поток новостей про открытые данные чем-то более весёлым.  Злоупотреблять этим не буду, но раз в год можно;)

Заготовка для сценария и фантастического рассказа написанная мной в 2012 году

Россия-2020

Россия-2020 год. Вся страна готовится к празднованию Нового Года, в это время во время подготовки торжеств группа киберкриптоанархистов «СССР-2061» создаёт вокруг Кремля нанокомпьютерную сеть из нанопесчинок в краске которым его красили.

С помощью созданной наносети они проникают в локальную систему стереокамер и с их помощью проводит сеанс интенсивного гипнопрограммирования двух сибирских котов Федерального агентства развития справедливости и красоты задействованных на разминировании территории.

Загипнопрограммированные коты захватывают в заложники 4-х и.о. министров 2-го переходного правительства и через котов представитель группы угрожает ликвидировать всех четырёх если только не будет остановлен проект «Криптон» по уничтожению секретного датацентра группы в Центральной Якутии.

В это время журналист Алиса Янова берёт интервью у профессора Аркадия Краузе о деятельности группы «СССР-2061». Профессор, исследующий киберкриптоанархические группы последние 5 лет рассказывает о странном их устройстве, сильным сходством с сектами и нескольких мифах. Один из них — это то что группа получила название от того что её члены свято верят что они происходят из Советского союза 2061 года, а мир вокруг — это лишь уникальная виртуальная симуляция запущенная на международной выставке  в ВВЦ в СССР в 2061 году для как сатирический эксперимент 3-х ведущих НИИ виртуальных исследований. Янова покидает Краузе в замешательстве договорившись о встрече на следующий день. Отойдя от его дома 100 метров звучит взрыв при котором дом целиком разрушается, а здание вместе с пожарными окружают сотрудники спецслужб. Янова прячется в переулке соседнего дома, пока не видит что туда из последних сил добегает сильно обгоревшая девушка сжимающая в руке небольшую флэшку и умирающая у неё прямо на руках. …

… Янова с помощью друзей хакеров добравшись до их изолированного места изучает содержимое флешки и узнает о проекте «Криптон» где под видом запуска неработающего МГЧР разработана мощнейшая электромагнитная бомба созданная с целью блокирования любых чувствительных устройств на территории до 500 квадратных километров. На флешке также оказывается несколько видеозаписей допросов членов «СССР-2061» с использованием котов в которых те признаются в том о чём рассказывал Краузе существовании базового мира откуда они происходят и о том что цель группы — это захват Великого Вождя которого они считают своим свихнувшимся коллегой. Другие записи на флешке демонстрируют эксперименты по проверке реальности мира проведённые студентами профессора Краузе и финальный отчет подтверждающий реальность мира и виртуальность СССР-2061 вместе с сумасшествием членов этой группы.

Стокгольм 2671

На экстренном совещании ЦРУ агент Шеффилд прокручивает аудиопослание агента Томси (Яновой) о резкой активизации вируса «СССР-2061» в проекте «Россия-2020».  Согласно её сообщению вирус впервые с момента изоляции перешёл к активным действиям и осуществляет попытки захвата Великого Вождя (Грыу-Шы-Кана), а также перестройке реальности под собственную программу. В то же время Томси предупреждает что реализация программы Криптон приведёт к экстренному отключению более 20 наблюдателей и предлагает начать эвакуацию Грыу-Шы-Кана.

Представитель Департамента внешних отношений ООН напоминает что договор с анарианцами подписан на 280 лет, в то время как прошло только 20. В случае эвакуации Грыу-Шы-Кана договор расторгается и земляне будут не только обязаны оплатить работу всех ювенальных центров по полному тарифу, но и заплатить огромный штраф.

В процессе обсуждения выясняется что вирус СССР-2061 был изолирован в модельном мире н. 7 уже после отправки туда Грыу-Шы-Кана с нарушением договора.

Глава Виртукорп, оператора модельного мира номер 7 напоминает что по тому же договору необходимо предупреждать анарианцев в случае экстренных случаев и что «яйца уже разбиты», надо придумать как «зачистить эту ситуацию».


После жарких дебатов, перестрелки и двух постельных сцен агент Шеффилд добирается до главного корабля анарианцев и узнаёт что те давно уже вкурсе Грыу-Шы-Кана и вируса и что рассматривают это как тест молодому анарианцу на зрелость. Не сомневаясь, впрочем, что тот справится.

СССР-2061

Молододые сотрудники НИИ Василий Зайцев, Роман Крепыш и Наталья Рыжова готовятся к запуску первому всемирному конкурсу сатирической симуляции. Их проект «Россия-2020» показывает в сатирическом виде общество капитализма поражённого коррупцией, апатией и потреблением, но не потерявшее надежды. Они спорят с первым марсонафтом и первым героем мира Родиславом Грышунковым, о том что в симулированном мире можно полностью хранить мозг человека. Родислав соглашается на эксперимент с воспроизведением его матрицы и выбирает в качестве персонажа одного из инопланетян анарианцев включенного включенных в экспозицию из конкурса детских виртуальных моделей. Всем миры были связаны специальной сетью переходов. Во время демонстраций и множества хвалебных отзывов, призов и награждений, Родислав трагически гибнет упав с крыши во время спасения мальчишки погнавшегося за котом и повисшего на высоте 5-го этажа.

По всему миру объявляется неделя траура.

Друзья Василий, Роман и Наталья помнят что Родислав успел пройти копирование матрицы и его виртуальная всё ещё находится в объединенном симуляционном мире. Они отказываются отключать оборудование вопреки непонимающему их начальству и придумывают как вытащить Родислава из симуляции. В это время оказывается что на марсианской автоматической базе происходит авария и гибнут все кто знал коды перезапуска включая Родислава Грышункова. Совет Безопасности ООН принимает решение о начале операции спасения. Операция получает название «СССР-2061».

Россия наши дни
…

#notdata #notopen #notgovernment

Моё чтение сейчас - это обзор "The Promise of Artificial Intelligence" [1] от Daniel Castro and Joshua New из Center for Data Innovation с более чем 70 примерами того как искусственный интеллект помогает в создании принципиально новых сервисов, проектов, индустрий.

Более всего меня впечатлило автоматическая идентификация выстрелов в жилых районах, автоматические фермы с отслеживанием и управлением микроклиматом, качества почвы и так далее, предупреждение потери зрения диабетиками и многое и многое другое.

Очень хорошая подборка кейсов которую я всячески могу порекомендовать тем кто интересуется искусственным интеллектом, большими данными и принятием решений в реальном времени.

Ссылки:
[1] https://itif.org/publications/2016/10/10/promise-artificial-intelligence-70-real-world-examples

#opendata #bigdata #realtimedata #ai

Правительство Канады решилось на реорганизацию всех своих сайтов в рамках единого портала canada.ca и объявило конкурс на сведение всех сайтов органов власти с уменьшением числа веб-страниц. Активисты и эксперты уже пишут критические отзывы о этой инициативе [1]

Mike Gifford являющийся Drupal 8 Core Accessibility Maintainer at Drupal Project изложил следующие тезисы:
1. Выбор проприетарной платформы в виде Adobe (наиболее вероятный победитель конкурса) - это ошибка и vendor lock-in.
2. Канада федеративная страна, в отличие от Великобритании, и загнать всех на одну платформу просто нельзя.
3. У Канадского правительства гораздо хуже с открытостью кода чем в Великобритании и поэтому аналога успеха Alphagov и Gov.uk не получится.

О этих и многих других проблемах пишет Ottawa Citizen [2].

В России вопрос о централизации сайтов федеральных органов власти не стоит даже в публичной повестке. Всё что происходило в последние годы - это консолидация сайтов территориальных органов власти под их сайтами: МВД, Следственный комитет, Минюст, ФНС, Федеральное казначейство и многие другие перешли на единые сайты для своих управлений. На единый портал перешло Московское правительство и ряд правительств субъектов федерации.

Ссылки:
[1] https://www.linkedin.com/pulse/what-isnt-being-said-canadaca-mike-gifford
[2] http://ottawacitizen.com/news/politics/federal-governments-canada-ca-one-website-project-proving-costly-and-confusing

#opendata #opengov

Статья с которой началось моё утреннее чтение о том как преступники начинают использовать искусственный интеллект [1]
и другие технологические инструменты социальной инженерии используемые в самых неблаговидных целях.
Кстати, обратите внимание что до сих пор ни одна хакерская группировка на создала самоподдерживающийся ботнет который бы автоматически (с помощью AI) находил бы объекты взлома, переводил бы ворованное в деньги и тд.
Вообще мир будущего с _либерализированным доступом к инструментам искусственного интеллекта_ даже опаснее антиутопий где им владеют только выбранные корпорации и правительства.

Ссылки:
[1] http://www.nytimes.com/2016/10/24/technology/artificial-intelligence-evolves-with-its-criminal-potential.html

#security #ai

Централизованный портал для всего открытого исходного кода федерального правительства США появился в сети по адресу Code.gov[1]
Портал создан как продолжение политики исходного кода [2] и пилотных программ по раскрытию до 20% всего разработанного кода федеральными ведомствами в США.

Объёмы раскрываемого государственного кода в США уже поражают. Сотни органов власти и исследовательских центров собраны в сообществе Government [3] на Github и они раскрывают тысячи репозиториев кода, значительная часть которого уже используется в других проектах.


Ссылки:
[1] https://code.gov
[2] https://sourcecode.cio.gov
[3] https://government.github.com/

#opensource #opengov

Гигантский лонгрид "Decoding data" [1] на сайте Exposing The invisible [2] от ребят из Tactical Technology Collective [3]

Это очень подробный гайдлайн о том что такое данные, как с ними работать, как расшифровывать и не только.

Это одно из многих их руководств о том как извлекать "скрытые знания" из довольно известных и общепринятых инструментов и сервисов: социальных сетей, хэштегов, метаданных и не только.

Коллекция практических пособий для журналистов расследователей.

Ссылки:
[1] https://exposingtheinvisible.org/guides/decoding-data
[2] https://exposingtheinvisible.org/
[3] https://tacticaltech.org/

#opendata #opengov

Какие [не]выборные выводы можно извлечь из президентских выборов в США ?

1. Журналистика данных окончательно закрепила свою медийную нишу - она побеждает в длинных спецпроектах. FiveThirtyEight [1], сайты NYTimes, WashingtonPost и десятков других изданий, либо сделали спецпроекты, либо сами превратились в спецпроекты на время выборов.

2. В отличие от текстов, для журналистики данных очень важна предварительная подготовка. Так, FiveThirtyEight работают в нише предсказаний и визуализации давно и у них уже был готовый инструментарий. Другие издания давно переработали свои CMS под то чтобы можно было главную страницу превратить в спецпроект. Для этого же заранее готовили инструментарий по визуализации на картах и многое другое. Для событий которые _гарантированно произойдут_ подготовку можно вести сильно заранее и поэтому многие из них формировали команды и запаслись данными и инструментами сильно заранее.

3. Пока трудно оценить весь масштаб, но безусловно большую роль играет открытый код публикуемый редакциями ключевых изданий.
Вот лишь несколько изданий ведущих разработку и публикующих данные в открытом режиме:
- FiveThirtyEight - https://github.com/fivethirtyeight
- New York Times - https://github.com/NYTimes
- Washington Post - https://github.com/washingtonpost
- Chicago Tribune - https://github.com/newsapps
и многие другие. Я думаю что до сих пор никто не систематизировал их все.
4. Судьба FiveThirtyEight (это был частный проект до его покупки ESPN) показывает что если Вы энтузиаст(-ка) и делаете собственный продолжительный проект в медиа на данных, то рано или поздно, но успех Вас настигает.

Ссылки:
[1] http://fivethirtyeight.com

#opendata #datavisualization

Вышел доклад "Making a success of digital government" [1] от "Institute for Government" в Великобритании. Это частный мозговой центр специализирующися на вопросах качества государственного управления в Великобритании.

В их последнем отчёте рассмотрены вопросы связанные с цифровизацией правительства и разобраны подробно подходы и результаты 5 цифровых проектов Британского правительства.

Ссылки:
[1] http://www.instituteforgovernment.org.uk/sites/default/files/publications/IFGJ4942_Digital_Government_Report_10_16%20WEB%20%28a%29.pdf
[2] www.instituteforgovernment.org.uk

#opendata #opengov #digital

Правительство Сингапура полностью перейдет на Facebook Workplace в 2017 году [1]. Это 143 тысячи государственных служащих которые будут пользоваться профессиональной версией этой социальной сети [2]. При текущих расценках, это обойдётся Правительству Сингапура в $155.000 в год (около 10 миллионов рублей). Совершенно небольшая сумма, не сравнимая с расходами на собственную автоматизиацию даже у малых российских органов власти.

Ссылки:
[1] https://govinsider.asia/connected-gov/entire-singapore-civil-service-to-use-facebook-for-work-by-2017-peter-ong/
[2] https://workplace.fb.com/

#govinnovation #government

Один из важных вопросов к новой администрации Белого Дома в США - это судьба их ключевых технологических команд USDS (The United States Digital Service) и 18F. Об этом пишет David Eaves, канадец, преподаватель Гарвадского университета и Университета Кеннеди о госуправлении, в заметке "The Future of USDS: Trump, civic tech and the lesson of GDS" [1] в его блоге.

В то же время члены команды 18F, например, Noah Kunin, пишет о том [2] почему он остаётся в 18F и что его работа не зависит от конкретного человека а офисе белого дома.

О том же пишет Jennifer Pahlka, основательница движения Code for America в заметке "The Work Ahead: Public Service Under Trump" [3] что работать надо несмотря на то кто пришел к власти и важнее всего работа на общество.

В случае Дженнифер она готовилась к работе в составе переходной команды Хиллари Клинтон и теперь всё очень сильно зависит от позиции новой администрации Белого дома.

Обо всём этом сборная статья в GovInsider [4] с главным акцентом на вероятную утечку мозгов из команд USDS и 18F.

И в Meritalk вышла статья о том что новая администрация точно будет избавляться от команды 18F [5] и от остальных технологических инициатив которые были инициированы администрацией Барака Обамы.

А вот все вопросы к новой администрации лучше всего сведены в блоге Sunlight Foundation в посте "The Trump questions: What will transparency and open government look like in the next White House?" [6]


Ссылки:
[1] https://medium.com/@daeaves/the-future-of-usds-trump-civic-tech-and-the-lesson-of-gds-ccdc904976fa#.gf4lkkd24
[2] https://medium.com/@noahkunin/why-im-staying-at-18f-9c9bc77a53fc
[3] https://medium.com/code-for-america/the-work-ahead-public-service-under-trump-b37446bbcde2
[4] https://govinsider.asia/digital-gov/what-is-the-future-of-usds-with-trump-as-president/
[5] https://www.meritalk.com/articles/trump-administration-likely-to-oust-18f/
[6] http://sunlightfoundation.com/2016/11/10/the-trump-questions-what-will-transparency-and-open-government-look-like-in-the-next-white-house/

#opengov #opendata #government