Чуть было не пропущенный мной документ о котором надо рассказать подробнее.
Распоряжение Правительства от 24 марта 2018 года №500-р. О дополнении перечней общедоступной информации, размещаемой в интернете в форме открытых данных.  [1] [2]

Казалось бы благое дело, федеральное правительство обязало власти субъектов федерации раскрытивать довольно подробный список открытых данных связанный с экологией, но, увы, качество этого списка оставляет желать лучшего.

Требования к публикации данных в России не содержат требований не содержат конкретных требований по детализации,  частоте, форматам публикации и так далее.

Ничто буквально не помешает властям субъектов федерации публиковать данные агргегированно до субъекта, где-то изображениями, где-то записями в одну строчку, где-то ещё как-то, но не давая объективной картины.

Напомню что в распоряжении ничего нет про разработку стандартов или форматов публикации, нет ничего про формирование групп по разработке таких стандартов, нет ничего про мониторинг исполнения.

Но самое главное - это фундаментальная проблема отказа от "открытости по умолчанию". Это главное отличие движения за открытые данные в мире и международных соглашений в которых Россия не участвует. Открытость данных по умолчанию - это норма, но в России реализуется открытость по принципу "белых списков".

Ссылки:
[1] http://government.ru/docs/31928/
[2] http://static.government.ru/media/files/BK7g66vpKbmWLa7ZUofAKE9W5SfXfWGt.pdf

#opendata #opengov

Появилась краткая версия проекта стратегии от ЦСР на 2018-2024.
Тем, кто любит бродить по страницам:
https://strategy.csr.ru

Тем, кто предпочтет все в одном pdf:
https://strategy.csr.ru/files/strategy2024.pdf

Обсудить можем в https://t.me/begtinchat

Вышел отчёт Правительства о деятельности за 2012-2017 годы [1]  [2] помимо общих красивых слов там ещё и 3 слайда - 18, 20, 27 напрямую касаются Интернета.

Я воздержусь от подробных комментариев, скажу лишь что в любом отчёте важно не то что там есть, а то чего там нет.

Ссылки:
[1] http://government.ru/news/32246/
[2] http://static.government.ru/media/files/cNe663ge3X6ILtWakxSav3iAbDHKU7y5.pdf

#government #internet

UPD: Обновлённая ссылка на файл http://static.government.ru/media/files/aMdu9yAzBob1HzoOhlhAHVBwQlcJ7Yx7.pdf

А там удалили слайд и несколько заменили. Но у нас же есть архивная копия;)

UPD2: И снова предыдущая ссылка не работает, а новый файл http://static.government.ru/media/files/2cI4nAujPfIo4QJGy7DfEIeoJ7TRV2YJ.pdf

UPD3: Вы будете смеяться, но они его снова обновили (c) http://static.government.ru/media/files/8TfaUa5T8j0a9ATkD7RpSPAqtZTUWlsQ.pdf что-то результаты деятельности Правительства слишком часто меняются;)

Всем кто интересуется открытыми данными и думает как помочь - всегда есть возможность помощи в каталогизации проектов. В Russian awesome open data list [1] на github'е мы собираем такой структурированный каталог, туда можно просто добавлять региональные и федеральные проекты.

Ссылки:
[1] https://github.com/infoculture/awesome-opendata-rus

#opendata #opengov

Как публиковать данные и делать это достаточно просто?

Для тех кто хочет собрать портал открытых данных своими руками:
- CKAN https://ckan.org - один из самых распространённых движков для публикации данных в мире. Изначально создан в Open Knowledge International
- DKAN https://getdkan.org/ - движок для публикации наборов данных на базе Drupal. Также очень популярен в мире
- JKAN https://jkan.io/ - позволяет быстро создавать сайт для открытых данных на базе статических страниц и движка Jekyll. Отличается большой простотой в развёртывании
- UData http://udata.readthedocs.org/ социальная платформа для публикации данных, используется в государственных порталах откртыых данных Франции и Люксембурга.
- Dataverse https://dataverse.org/ - для тех кто готов развернуть сложную инфраструктуру публикации научных данных.

Для тех кто хочет просто опубликовать:
- DataHub - https://datahub.io/ проект Open Knowledge International по публикации данных онлайн, с командной строкой и API
- DataWorld - https://data.world стартап пытающийся стать Github'ом для данных. Продвинутый интерфейс для работы и много интересных возможностей и API
- GitHub - https://github.com - крупнейший хостинг open source проектов часто используется и для публикации данных.
- Internet Archive https://archive.org - многие публикуют в Интернет Архиве крупные наборы исторических данных. Некоторые коллекции достигают десятков терабайт
- Хаб открытых данных https://hubofdata.ru/ - для тех кто хочет опубликовать в России, работает на движке CKAN.

#opendata #data

Сегодня начнётся блокировка Телеграма, но мы улыбаемся и машем, я точно буду дублировать записи в Фэйсбуке на facebook.com/ibegtin, но и телеграм канал никуда не денется.

Open Data Institute открыли сайт посвящённые открытым стандартам публикации данных [1].

Они систематизировали много инициатив по разработке открытых стандартов и форматов публикации данных, разработали рекомендации как разрабатывать собственный стандарт и сводят реестр существующих открытых форматов.

Ссылки:
[1] http://standards.theodi.org/

#opendata #opengov

Про телеграм я всё таки напишу подробнее.

Например, почему ни я, ни очень многие кого я знаю не перестанут им пользоваться. Помимо аргументов которые я приводил в статье на РБК [1], есть много практических аспектов.

1. Телеграм по возможностям - это не только и столько массовый мессенжер, сколько среда для груповой работы. Он отнимал аудиторию не у What'sUp или Facebook Messenger'а, а у Slack'а и его аналогов. "Рабочие чатики" - это массовое применение телеграма и надо признать что получилось это благодаря очень легковесному клиенту и простоте создания чатов, ботов и каналов. Всё оказалось в одном месте и очень удобно. Например, у нас было и есть сообщество по открытым данным в Slack'е [2] до того как появился чат OpenDataRussia [3], но оно так и остаётся скорее резервной площадкой потому что в телеграме всё работе в единой среде.

2. О ботах и каналах. Много лет я искал альтернативу "читалкам RSS" чтобы получать новости в удобном виде. В начале года я понял что удобного не найду и сделал своими руками такую читалку в Телеграме. Читалку управляемую через бот FeedRetranslatorBot [4] который извлекает новости из сайтов и кидает их в телеграм канал выбранный владельцем. Простая штука, лично мне очень удобная, я читаю новости Правительства, Кремля, министерств и тд. все через разные каналы, также как и новости про открытые данные и не только.
Бот наполняет новостями канал Инфокультуры [5] со всех наших проектов и это очень удобно, освобождает много времени.

Эту возможность невозможно перенести ни в один из существующих мессенжеров без существенных накладных расходов. У другого нашего проекта, APICrafter [6] по продаже доступа к API есть также бот в телеграме который раздаёт ключи для тестового доступа [7]. Почему он там и почему так? Его оказалось очень легко, быстро и удобно реализовать.

Кроме того в этом году мы запланировали ботов для проектов: Госзатраты, Открытые НКО, а у проекта Открытая полиция есть чат бот помогающий оценить Ваши навыки взаимодействия с полицией [8].

До тех пор пока не введут личную ответственность граждан за использование Telegram'а и других заблокированных ресурсов, пользоваться, я лично, и большинство тех кого я знаю, будут.

Ссылки:
[1] https://www.rbc.ru/opinions/politics/13/04/2018/5ad0782e9a79470a8e5fa03d
[2] https://join.slack.com/t/opendatarussia/shared_invite/enQtMjg4ODM2MTQzODU4LWFhYjRiNThjZmFhNjQwMjgyNTZmMDU5NDAwNWUxZmNlYTA2YWI5OGE5MWUyMDBhOGE1ZDUxOTk2NjAyNTY3YWE
[3] https://t.me/opendatarussia
[4] https://t.me/FeedRetranslatorBot
[5] https://t.me/infoculture
[6] https://apicrafter.ru
[7] https://t.me/APICrafterBot
[8] https://t.me/openpolice_ruBot

#telegram

Britdata [1], электронная книжка от журналиста SA Mathieson [2] о том как находить данные в Великобритании и о Великобритании. Не думаю что она может быть содержательная полезна в России, но полезна по пониманию формата. Для журналистов находимость данных - это важная часть их работы. Мой личный опыт показывает что такие книжки журналистам необходимы, особенно в форматах вопросов и ответов.

Ссылка:
[1] https://samathieson.com/sa-mathieson/training/britdata-finding-data-on-uk-journalists-researchers-campaigners/
[2] https://samathieson.com/sa-mathieson/about/
#opendata

Завтра буду на РИФе полдня примерно на секции "Бизнес на данных. Баланс интересов пользователя, компаний и государства" https://2018.rif.ru/program/4801

#opendata

По моему уже стало очевидно что в Павел Дуров был бы лучшим кандидатом на пост главы Роскомнадзора в будущем составе Правительства.

В качестве небольшого отвлечения от темы данных, но без отвлечения от государства.

Я надеюсь все помнят что скоро будет чемпионат мира по футболу? Специально для тех кто пойдёт его смотреть в рамках проекта Открытая полиция мы собираем совсем немного денег на специальную памятку для болельщиков https://planeta.ru/campaigns/fifa и я лично тоже пожертвовал на брошюру небольшую, но важную для проекта сумму.

Открытая полиция - это один из немногих проектов КГИ который мы в Инфокультуре делаем с акцентом на понятность. Открытость данных полиции важна, но наш опыт показал что гораздо важнее понимание того как правоохранительная система работает.

Из всех проектов что мы ведем - это самый понятный и самый человеческий. Если данные понятны не всем, то разговаривать с полицейскими понадобится каждому. Понимание своих прав, навыки общения с полицейскими - это залог здоровья и долголетия в нашей любимой родине.

#openpolice

Действия Роскомнадзора были бы малозначимыми не будь они столь бессмысленны и вредны. Мне действительно не хочется писать подробно о том как правильно было реализовывать блокировки (вернее написать может и хочется, но я не буду), а вот пример того почему действия Роскомнадзора напрягают могу описать, но предупрежу что будет много технических терминов:

1. Вот у нас небольшая организация с набором довольно разных проектов. Для инфраструктуры работы нам нужны сервисы управления проектами, кода, обеспечения работы сайтов и многое другое. Стеки того что мы используем включают такие продукты как Slack, Trello, Github, Cloudflare, Restlet, Backblaze и не только. И у них нет российских аналогов. Для некоторых проектов мы используем зарубежные хостинги, например, когда надо быстро развернуть образ для Docker'а.

При этом большая часть этих сервисов хостится на Amazon, Rackspace и используют Cloudflare или Akamai в качестве CDN. И конечно телеграм параллельно со Slack'ом используется для координации проектных команд.

В результате блокировок Роскомнадзора, пока, ни что из того что мы используем не пострадало, но вероятность этого была и остаётся совсем не нулевая.

2. Наш личный дзен пока неполон, масштаб ещё не таков чтобы самим массово разворачивать виртуальные сервера, но могу сказать что зарубежные современные хостеры значительно, очень значительно опережают российских по качеству и скорости развёртывания инфраструктуры.

Но если будет необходимость использовать хостинг, то главными критериями будет надёжность и простота удобства, а не юрисдикция.

3. Массовые блокировки приведут ещё к одному неприятному последствию. Если раньше российский хостинг использовали хотя бы жители стран входивших в СССР, то с действиями Роскомнадзора резко выросли риски нарушения связности систем. Если у Вас веб-сервер на российском хостинге и он по туннелю работает с данными или вычислительными мощностями на Google или Amazon, то действия Роскомнадзора этому создают сильные риски.

4. Почему действия Роскомнадзора - это очень хреновый пример регулирования? Вот лишь несколько причин.
- ресурсы которые Роскомнадзор сейчас автоматически блокирует - это ресурсы "базовой инфраструктуры Интернета". Google, Akamai, Cloudflare, Amazon и другие крупнейшие игроки и хостеры на рынке многое сделали для того чтобы без их существования миру стало бы значительно хуже.
- на этих ресурсах находятся CDN сервисы которые используются сайтами организаций и органов власти в России
- на этих ресурсах находятся шлюзы платёжных систем из-за недоступности которых не работает оплата
- на этих ресурсах находятся сайты, базы данных, вычислительные мощности тысяч российских компаний
- на этих ресурсах находятся сервисы Интернета-вещей и многие системы безопасности, освещения, умных устройств не работают из-за недоступности.

5. Почему всё происходящее смахивает на какую-то трагикомедию положений? Потому что без качественной внутренней инфраструктуры, без многолетних инвестиций в национальные проекты - невозможно развязать российских потребителей и западную экосистему Интернета со всеми сервисами и социальными сетями.

6. Если Роскомнадзор сейчас "умоется" тем как Телеграм прыгал от него с сервера на сервер, то все разговоры про блокировку Facebook'а - это красивые размышления. Facebook привлечёт Дурова с его командой в консультанты или они сами придумают меры делающие блокировку невозможной. Это если они вообще хоть что-то будут предпринимать, а не забьют полностью как Microsoft это сделали с LinkedIn.

В заключение - мы находимся в идеологической развилке. Либо технологическое развитие, либо технологическая изоляция.

И с каждым днём эта развилка будет всё жёстче.