Size: a a a

2016 December 23
Ivan Begtin
На нашем онлайн-портале вышла долгожданная лекция Алексея Кнорре (Alexey Knorre) "Эмпирическое правоведение: как работать с данными криминальной статистики"
Рост количества данных и инструментов для их анализа за последние 20 лет изменил множество сфер, в том числе и сферу правоприменения. Это привело к тому, что теперь при разработке законов и анализе работы правоохранительных ведомств мы можем использовать всю мощь современной науки, которая позволяет отвечать на прикладные вопросы с помощью статистического анализа данных (что получило название "credibility revolution", а соответствующая междисциплинарная область - эмпирические правовые исследования).

http://kgi.zillion.net/ru/event/7358/empirichieskoie-pravoviedieniie-kak-rabotat-s-dannymi-kriminal-noi-statistiki
источник
2016 December 27
Ivan Begtin
На сайте Европейской комиссии в разделе "Digital Single Market" [1] вышел обзор Open eGovernment practices in all EU Member States make public services more collaborative, efficient and inclusive [2] с большим числом примеров того как в странах Евросоюза формируется общая экосистема открытых данных, продуктов на их основе, цифровых услуг и технологических стандартов позволяющих всему этому работать вместе.

Важное направление - это "Openness towards third parties", открытость которая обеспечивается другими игроками общества. И там упоминается множество проектов НКО в Европе, такие как OpenSpending, например, проект по мониторингу и открытости бюджетов.

А также обратите внимание на библиотеку лучших практик открытости Европейского союза [3] с большим количеством вдохновляющих примеров.

Ссылки:
[1] http://ec.europa.eu/priorities/digital-single-market_en
[2] https://ec.europa.eu/digital-single-market/en/news/open-egovernment-practices-all-eu-member-states-make-public-services-more-collaborative
[3] http://opengov.semic.eu:3000/

#opendata #opengov #eu
источник
Ivan Begtin
Несмотря на то что мой канал номинировали на конкурс Открытого правительства, я то как раз с каждым годом все более скептичен насчет его будущего (как структуры, а не концепции) в России.

За все эти годы оно скорее снижало активность чем увеличивало.
Вот неполный список того что никогда не было сделано:
- не раскрыты большинство ключевых наборов данных которые должны были быть раскрыты согласно Хартии Большой Восьмерки
- не собрано библиотеки лучших практик
- не обеспечена поддержка общественных инициатив на открытых данных - нет ни одного президентского фонда который бы поддерживал проекты на открытых данных, а зарубежное финансирование этой темы в России сейчас невозможно
- поддержка проектов по открытым данным не стала частью повестки ФРИИ/РВК и других государственных структур развития стартапов

Все это, вместе с непрозрачностью его финансирования и конфликтами интересов его руководства, неизбежно создает ситуацию когда это первое и последние "Открытое правительство" в России. Следующее будет называться как-угодно иначе, но слово "открытость", к сожалению, нынешними его функционерами очень сильно испорчено.

В разговорах с коллегами из других стран СНГ они часто приводят российский опыт как положительный в открытых данных. Но проблема в том что государственные инициативы увязли в российской бюрократии.

#opendata #opengovernment
источник
2016 December 29
Ivan Begtin
Я так много пишу про открытые данные в последние годы что многие давно забыли что много лет назад, до 2012 года, основной моей деятельностью и была работа с данными госфинансов - в первую очередь госконтрактов.

И сейчас вот уже год как я вернулся к этой работе как одной из основных. Я являюсь руководителем экспертной группы ЦСРа по контрактной системе и занимаюсь анализом того что называется большими данными о госконтрактах. Не просто в применении общепринятом, но для гораздо более глубокого понимания российской экономики. Обязательно подкрепленное цифрами.

Сегодня вышла статья в Ведомостях (http://www.vedomosti.ru/economics/articles/2016/12/29/671668-goszakaza-dostaetsya)  с некоторыми нашими цифрами и комментариями, я возьму на себя смелость скопировать ее целиком из под paywall'а Ведомостей.
——
80% госзаказа достается 6% поставщиков
Конкуренция на тендерах часто имитируется

В 2016 г. государство закупило на 5 трлн руб. (открытые данные на 28 декабря) – минимум после 2011 г. Госкомпании разместили извещений на 22,5 трлн руб. – на 500 млрд меньше, чем год назад.
Единственным поставщикам досталась пятая часть госзаказа (23% в 2016 г., 22% в 2015 г.) и 38% – госкомпаний (40%). Но руководитель ФАС Игорь Артемьев считает, что 95% закупок госкомпаний уходят единственному поставщику, так как больше половины процедур маскируют отсутствие конкурса, например «наш любимый способ закупки». Обязать госкомпании закупать по более строгим правилам Минэкономразвития собирается уже два года. В 2015 г. поправки были внесены в Госдуму, но не прошли дальше первого чтения. Госкомпании не просто защищались, а атаковали: по их просьбе Минэкономразвития согласилось смягчить даже действующие процедуры – вывести из-под закона внутригрупповые сделки и закупки финансовых услуг. Нельзя исходить из того, что все менеджеры обуреваемы только идеей – как украсть, говорил «Ведомостям» замминистра Евгений Елин.

Но и в самом госзаказе конкуренция невелика. На 6% поставщиков (25 000 компаний) приходится 80% госзакупок, говорится в исследовании ЦСР («Ведомости» ознакомились с частью доклада). Данные за 2015 г., но в первые девять месяцев 2016 г. пропорция сохраняется, говорит руководитель экспертной группы ЦСР Иван Бегтин. Представитель Минэкономразвития посоветовала искать информацию на zakupki.gov.ru. Данные ЦСР совпадают с данными информационной системы, подтвердил чиновник федерального казначейства. Треть из этих 25 000 компаний – те же государственные организации, подведомственные заказчикам, уточняет исполнительный директор Бюро контрактной информации Ольга Анчишкина: государство делает вид, что торгует, а по сути – распределяет.
Контрактная система оказалась выгодна крупным игрокам, считает Бегтин, и неудобна для остальных – многие участвуют в торгах один раз и больше не приходят: это не только фирмы-однодневки, но и компании, которым не нравится, что поставщик бесправен. 70% госзаказа приходится на стройку и фармацевтику, замечает Елин, такая концентрация возможна. Но это говорит не о качестве контрактной системы, а об уровне конкуренции в экономике, уверен он. На торгах есть конкуренция – в среднем три участника, но, если посмотреть, кто получает контракты, становится понятно, что госзаказ близок к чистой монополии, говорит Анчишкина: конкуренция имитируется.
источник
Ivan Begtin
Задуманная «реформа» госзаказа – перевод в электронный вид всех процедур – не является реформой и не изменит ситуацию, замечает Анчишкина. Нужно не контролировать процедуру размещения заказа, а изменить отношение к контрактной системе, предлагает она: сделать из госзакупок современную систему снабжения, от эффективности которой в компаниях зависит 75% себестоимости продукции; ограничить список тех, кто имеет право размещать госзаказы: «Почему решили, что это может быть любой бюджетополучатель?» Нужны централизация, кооперация и совместное использование товаров, чтобы, к примеру, детский сад даже теоретически не мог претендовать на закупку собственной снегоуборочной машины, рассуждает Анчишкина. Также необходим реестр результатов исполнения контрактов: не отчеты о потраченных деньгах, а учет приобретенной продукции, продолжает Анчишкина, а для типовых закупок – электронный магазин. Электронный магазин – действительно важный инструмент, его запуск в планах на 2017 г., уточнил Елин.

Конечно, надо следить за результатом, соглашается Елин. Но стоит задача сократить издержки, самые чувствительные из которых коррупционные, объясняет он, а для этого нужно максимально снизить участие чиновника в принятии решений, вот и получается, что сначала необходимо описать процедуры. Контроль за результатом станет возможным, когда система будет полностью готова, когда каталог, который будет поэтапно запускаться с 1 января 2017 г., позволит сравнивать подобное с подобным, когда появятся референтные цены, говорит Елин.


#goszakaz
источник
2016 December 30
Ivan Begtin
В то время как в России экспертная группа во главе с Абызовым не пропустила ни одной народной петиции собравшей более 100 тысяч голосов на портале Российской общественной инициативы [1], одновременно с этим в США вышел обзор "‘We the People’: Five Years of Online Petitions" [2] от Pew Research Center посвященный онлайн петициям.

Обзор сделан на детальнейшем API петиций на портале Белого дома [3] и их содержательного анализа. В целом это подробный и интересный обзор того как работает живая система петиций и того как она в дальнейшем воплощается в государственную политику.

Сейчас все гадают как изменится государственная политика в США в этой области с приходом Президента Трампа, впрочем ждать осталось недолго.

Ссылки:
[1] https://www.roi.ru/complete/
[2] http://www.pewinternet.org/2016/12/28/we-the-people-five-years-of-online-petitions/
[3] https://petitions.whitehouse.gov/developers

#opengov #petitions
источник
Ivan Begtin
Вышло новое исследование Open Knowledge Foundation о том как собирать данные от граждан и делать их полезными. Оно так и называется Making Citizen-Generated Data Work [1]. Авторы Danny Lämmerhirt, Shazade Jameson и Eko Prasetyo пишут о многочисленных примерах краудсорсинговых проектов которые создавали бы реальную конечную ценность для общества и авторов.

Исследование является совместным для Open Knowledge Foundation и проекта DataShift [2] помогающего НКО по всему миру собирать данные от граждан и создавать на их основе проекты.

Исследование рекомендую всем кто когда-либо исследовал того как собираются данные через краудсорсинг и задумывался о том в каких случаях это работает, а в каких нет.

Ссылки:
[1] https://blog.okfn.org/2016/12/22/new-report-making-citizen-generated-data-work/
[2] http://civicus.org/thedatashift/

#opendata #opengov
источник
Ivan Begtin
источник
2017 January 01
Ivan Begtin
Для тех кто пишет научные и исследовательские работы на тему открытых данных рекомендую прочитать "Towards a Genealogy of Open Data" [1] это научная статья 2014 года написанная Jonathan Gray и посвященная истории появления терминов открытое государство и открытые данные, а также политическая история которая им предшествовала.

В 2012 году я также писал на эту тему публицистическую статью "Открытое государство. История и новый смысл" [2].

Рано или поздно, сразу после или прямо перед оставкой последнего федерального Правительства ревизия сделанного и несделанного будет проведена. И тогда будет время провести и смысловую ревизию, насколько оно отклонилось от изначальных приниципов и чем "открытость по российски" отличается от открытости в мире.

Ссылки:
[1] https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2605828
[2] http://polit.ru/article/2012/06/28/open_gov/

#opendata #opengov
источник
Ivan Begtin
источник
Ivan Begtin
источник
Ivan Begtin
Всех с наступившим 2017 годом!
источник
2017 January 05
Ivan Begtin
В Монреале власти города решили организовать мониторинг трафика через 100 сенсоров Bluetooth на наиболее загруженных магистралях [1]. Непосредственно работу осуществляла компания Orange Traffic [2], а все данные передаются в Urban Mobility Management Center города.

Цифровизация существующей инфраструктуры меняет не только подход к мониторингу трафика, но и отношения между водителями и гос-вом. В Индии начали выдавать цифровые лицензии для водителей [3], а точнее дали возможность предъявлять полицейским данные со специального приложения Digilocker, вместо бумажной лицензии.


Ссылки:
[1] https://www.springwise.com/montreal-monitoring-city-traffic-via-drivers-bluetooth
[2] http://www.orangetraffic.com/en
[3] https://yourstory.com/2016/09/digilocker/

#opendata #opengov #digitalgov #driving #smartcity
источник
Ivan Begtin
84.8 миллиарда рублей долга только 858 крупных должников Газпром Межрегионгаз на ноябрь 2016 года [1]. При том что Газпром охватывает лишь 59 регионов - эти данные при сочетании с другими, особенно при регулярном их мониторинге, позволяют оценить масштаб внутренней задолженности в стране.

Агрегированные данные по регионам выложены на хаб открытых данных [2], а сам интерес к ним в том что рано или поздно вопросы огромного числа внутренних и внешних долгов в России станут одними из первоочередных и создание проекта "Страна долгов" или "Долговая Россия" уже сейчас возможно на этих данных, данных бюро кредитных историй, банков, списков должнников по ЖКХ и многому другому.

Ссылки:
[1] http://mrg.gazprom.ru/implementation/spisok-dolzhnikov/#list,by_amount
[2] https://hubofdata.ru/dataset/gazprom-mrg-debtors

#opendata #corporatedata #debts
источник
2017 January 06
Ivan Begtin
Вышло большое исследование "How can we improve urban resilience with open data?" [1] посвященное использованию открытых данных для создания комфортной городской жизни. Исследование делалось в рамках проекта Open data for Development коллективом из команды Open North и все при поддержке Института откртыых данных Великобритании (Open Data Institute).

Основные выводы исследования можно прочитать в блоге ODI.

Вот лишь некоторые примеры из этого исследования:
- NYC Business Atlas - инструмент анализа бизнес-возможностей по районам Нью-Йорка, с информации о демографии, разрешениях на строительство и так далее.
- BuildingEye in San Francisco - гражданский проект с удобным интерфейсом для активистов для работы с данными о городской инфраструктуре
- The Open Data for Resilience Initiative - проект помогающий государственным властям взаимодействовать с сообществами по сбору данных

Другие примеры: Betaville, Greater Toronto Area Housing Action Lab, Digital Matatus, Dublin City Dashboard, District 2030, Civic Accelerator Programme

и многие другие. Исследование стоит внимательно прочтения, как минимум, из-за обилия живых примером.

Ссылки:
[1] https://drive.google.com/file/d/0B8BZxtR6WDBJcHYzallaZFNBRFU/view
[2] http://theodi.org/blog/improving-the-resilience-of-cities-using-open-data

#opendata #opengov #smartcity #cityresilence #urbandata
источник
2017 January 09
Ivan Begtin
Компания Uber открыла проект Movement [1] в котором по запросу готова предоставлять данные о более чем 2 миллиардах поездках машин на Uber по всему миру. Подробнее о том как устроен их проект в ролике на Youtube [2] и, на русском языке, в заметке на Roem [3].

Резонный вопрос который может задать любой читатель этой новости в том зачем коммерческая компания будет предоставлять данные которые являются, в том числе, топливом на котором она строит свою бизнес модель. Ответ в том что для создания репутации и "торга" с властями городов по всему миру. Власти пытающиеся ограничить Uber получают в обратную сторону данные которых они так желают. Журналисты получают возможность ссылаться на Uber в своих data-расследованиях.

И да, конечно, Uber не единственный краудсорсинговый проект придерживающийся подобной политики. В основном его, конечно, реализуют общественные проекты такие как Wikipedia, OpenStreetMap, Dmoz и десятки других созданные некоммерческими организациями и общественными движениями.  Но, также, подобная практика есть и у коммерческих компаний. Некоторые из них дают собственные данные, например, Google раздающий данные из своего Transparency report [4] или Citymapper призывающий власти публиковать больше открытых данных [5], [6].

Что можно сказать точно, так это то что крупные международные игроки куда больше вкладывают усилий в популяризацию работы, как со своими данными, так и в публикацию открытых данных властями, по сравнению с практически всем российским интернет-бизнесом. Не называя имен конкретных компаний, можно говорить о том что они лоббируют эксклюзивный доступ к госданным и не предоставляют их, ни пользователям, ни по запросу. В результате, рано или поздно окажется что единственный способ получить данные из некоторых российских компаний будет очень негуманным, лоббированием регулирования раскрытия ими информации через российских законодателей. Но этот способ борьбы с вампирами с помощью людоедов красивым никому не покажется.


Ссылки:
[1] https://movement.uber.com/cities
[2] https://www.youtube.com/watch?time_continue=5&v=bszvEIMVsIc
[3] https://roem.ru/09-01-2017/239968/uber-movment/
[4] https://www.google.com/transparencyreport/
[5] https://theodi.org/news/citymapper-government-open-data-improve-cities
[6] https://medium.com/citymapper/building-a-city-without-open-data-124356672deb

#opendata #opengov #citydata #uber #ubermovement
источник
Ivan Begtin
Специально для тех кто не знает как Uber Movement выглядит изнутри вот картинка
источник
Ivan Begtin
источник
2017 January 10
Ivan Begtin
Британское статистическое бюро ONS (Office of National Statistics) разместило в своем блоге обзор их практики публикации открытых данных [1].

Это один из лучших подходов к этой теме у статистических ведомств, а сам сайт бюро [2] - это наглядный пример того как должен выглядеть сайт дата-ориентированного ведомства. Если сравнить с российским Росстатом [3] то разница в подходах почувствуется еще более остро.

Ключевое в доступности данных для анализа. Для всех баз и индикаторов публикуются, и Excel файлы, и машиночитаемые данные в CSV и других форматах (например, в формате SDMX).

Возможно именно по этой причине у Twitter'аккаунта ONS более 245 тысяч подписчиков [4], а у Росстата 354 читателя [5] и 2.5 тысячи подписчиков во Вконтакте [6].

Ссылки:
[1] https://blog.ons.digital/2017/01/06/some-open-data-publishing-principles/
[2] https://www.ons.gov.uk/
[3] http://www.gks.ru/
[4] https://twitter.com/ONS
[5] https://twitter.com/rosstatistika
[6] https://vk.com/rosstatistika

#opendata #opengov #statistics
источник
Ivan Begtin
TCData360 [1] - это новый проект Всемирного банка с 1800 индикаторами [2] из разных баз данных по внешней торговле, торговому балансу стран, инновациям, рейтингам и так далее.

По каждой стране есть ее профиль, например, вот страны постсоветского пространства:
- Россия - http://tcdata360.worldbank.org/countries/RUS
- Украина - http://tcdata360.worldbank.org/countries/UKR
- Казахстан - http://tcdata360.worldbank.org/countries/KAZ
- Беларусь - http://tcdata360.worldbank.org/countries/BLR

Данные из TCData360 доступны через API проекта [3], а визуализация данных в экспериментальном режиме есть по ссылке Visually Explore TCdata360 [4].

Этот портал не первый, и похоже, не последний портал данных Мирового банка. Напомню про другие их проекты с данными:
- Open Data Catalog - http://datacatalog.worldbank.org/
- DataBank - http://databank.worldbank.org/data/home.aspx
- Microdata Library - http://microdata.worldbank.org/
- World Development Indicators - http://wdi.worldbank.org/
- Open Finances - https://finances.worldbank.org/
- Projects and operations - http://www.worldbank.org/projects
- Open Data Toolkit - http://opendatatoolkit.worldbank.org/en/
- AidFlows - http://www.aidflows.org/
- Global Consumption Database - http://datatopics.worldbank.org/consumption/

Из всех международных структур Всемирный банк лидирует по раскрытию его баз данных. Возможно лишь ООН, как совокупность структур, вскоре приблизится к его масштабам раскрытия информации.

Ссылки:
[1] http://tcdata360.worldbank.org/
[2] http://tcdata360.worldbank.org/topics
[3] http://tcdata360.worldbank.org/tools
[4] https://alberto-sanchez-rodelgo.shinyapps.io/datascoper/

#opendata #opengov #data #worldbank
источник