Я думаю что такие документы должны в рамках 8-фз предоставляться

По факту конечно будет отказ

Мертвый закон

«обезличенные персональные данные», «обезличенные данные»

- Законопроект направлен на создание благоприятных условий и новых возможностей для использования и обращения информации (данных) в интересах потребителей, бизнеса, общества и государства в целом
https://regulation.gov.ru/projects#npa=95069

Хочется писать про доброе, светлое и открытые данные, но на повестке куда более прозаические события вроде утечки данных о сетях связи, проектах и СОРМе в инфраструктуре МТС [1]. Всё это утекло через открытый rsync сервер о котором и пишет компания UpGuard.

Всё это о том что сейчас с сервисами мониторинга нескольких компаний которые регулярно сами сканируют сети или же пользуются Censys, Shodan и рядом других их менее известных аналогов, даже если администратор какой-то сети открывает доступ к нему на сутки, очень велика вероятность что этот сервис будет найдет и из него всё будет скачано.

Иначе говоря - параноидальность в защите данных никому не повредит. И отдельно я хочу сказать про обеспечение безопасности в органах власти. Массовое использование сотрудниками бесплатной почты, Dropbox'а, Яндекс.Диска и всего остального используемого для пересылки внутренних документов - может ещё ох как аукнуться. И не потому что эти сервисы нельзя использовать в корпоративных целях, а потому что их используют для преодоления ограничений как правило, довольно архаичных требований безопасности.

Возвращаясь к утечки из МТС - это само по себе, с одной стороны, интересно - всё таки материал о том как следят за россиянами и где и как СОРМ установлен. А с другой стороны более чем тревожно. Если подобные сведения утекают, то что же говорить об остальном?

Ссылки:
[1] https://www.upguard.com/breaches/mts-nokia-telecom-inventory-data-exposure#/security-lapse-russia/

#dataleaks #mts

Вчера было довольно познавательное мероприятие в Сбербанке по данным для искусственного интеллекта.
Много говорили про открытые данные и текущее состояние и качество госданных. У меня осталось ощущение повторения истории 5 летней давности, когда похожие разговоры и встречи шли в рамках Открытого правительства и вокруг него.

Все важнейшие вопросы остались:
1. Как убедить органы власти публиковать наиболее интересные данные?
2. Какие данные должны публиковаться?
3. Как измерить экономический эффект от открытия данных?
4. Что делать с персональными данными необходимыми для исследования и работы?
Много вопросов над которыми предстоит поработать.

--- Далее минутка рекламы ---
А я напомню что я лично участвую в этом всём от нашей Ассоциации участников рынка данных и подробнее о ней можно узнать тут - http://aurd.ru

Ассоциация ориентирована, в первую очередь на малый и средний бизнес с очень небольшими взносами, а также мы туда принимаем НКО и образовательные учреждения без взносов, членство для всех некоммерческих и государственных учреждений бесплатное. Пишите на aurd@aurd.ru если хотите и готовы вступить.

Основные приоритеты ассоциации - это взаимодействие с государством в части регулирования/де регулирования рынка данных, открытие данных и многие другие инициативы в этой области.

И, да, я не могу не напомнить что модель работы ассоциаций - это быть площадкой для кооперации. Совместные мероприятия, семинары, конференции, обсуждения и многое другое. Большая часть активности и инициативы идёт от членов ассоциации, а роль ассоциации в помощи этим инициативам.
--- Минутка рекламы закончилась ---

Возвращаясь к тому как _перезапускать_ тему открытых данных, нам пора снова и вместе составлять всё то что было не доделано:
1. Составить список изменений в регуляторных документах - оживить ли 8-ФЗ или отдельный закон?
2. Составить список наиболее востребованных данных для раскрытия
3. Определить правила по которым данные должны раскрываться и кому - аналог data spectrum
и многое другое.
4. Что делать с "артефактами" вроде data.gov.ru, глубоко перезапускать, ликвидировать или ждать пока сам помрёт?

И это не все актуальные вопросы.

#data #ai #opendata

За всеми разговорами о доступе к данным для бизнеса и для граждан и об открытых данных государства важно помнить что сама темам открытости зарождалась в совсем других областях изначально. Например, в науке принцип обмена знаниями и данными - это просто часть естественного процесса взаимодействия учёных.

И в научной среде каталоги данных - это уже давно общепринятая норма. Более 2 тысяч таких каталогов данных собраны в проекте Re3Data [1], а многие другие легко находятся поиском проектов в области Открытой науки (Open Science).

Есть инструменты которые изначально были созданы именно для научной среды.
- Dataverse [2] портал данных созданный в Гарварде и поддерживающий несколько крупных каталогов научных данных, в основном университетов.
- Invenio [3] портал данных разработанный в CERN для хранения статей и огромных данных результатов исследования на адронном коллайдере и других инструментах.
- Zenodo [4] общеевропейский проект публикации данных исследовательскими центрами Евросоюза
- CKAN [5] стандарт портала данных для открытых данных многих государств также используется исследовательскими центрами и университетами.

Чем отличаются научные продукты и проекты в этой области?
Есть несколько важных отличий от порталов открытых данных:
1. Не все данные открыты по умолчанию. У некоторых доступ ограничен и требует подтверждения владельца, другие публикуются под эмбарго и доступны только после того как выйдет научная статья, а в иных случаях организация получила их под ограничивающими условиями и вынуждена их предоставлять только квалифицированным пользователям.
2. Для научных порталов данных важно как и дня научных публикаций указывать ORCID, DOI и иные идентификаторы. Это то чего нет в общественных и госпорталах.
3. Для научных порталов данных важны многие метаданные для точного цитирования и выбора того что цитировать
4. Почти всегда научные метаданные проходят ту или иную степень проверки качества, иначе не обеспечить воспроизводимость.

Порталы научных данных часто хороший пример для государства того как надо публиковать данные. Но, безусловно, они гораздо сложнее в управлении и поддержании актуальности, в виду необходимости соблюдения всех процедур заполнения метаданных.

Ссылки:
[1] https://www.re3data.org/
[2] http://dataverse.org
[3] https://invenio-software.org/
[4] https://zenodo.org
[5] http://ckan.org

#data #openscience #opendata

Переориентация госпрограмм на выполнение национальных проектов привела к снижению прозрачности бюджетной статистики Минфина

Запуск национальных проектов, несомненно, одна из наиболее амбициозных инициатив государства за последние годы. Но, как и у всех амбициозных инициатив, у нее есть не только высокие цели, но и последствия. Я бы даже сказал — сопутствующий ущерб. Профессиональные экономисты и эксперты в региональной политике могут рассказать о последствиях национальных проектов для ВВП, уровня жизни и инфраструктуры, а я расскажу о том, как они влияют на открытость государственных финансов в России.
...
Подробнее на РБК:
https://www.rbc.ru/opinions/economics/20/09/2019/5d81e9f99a7947a59b1f7cea

#budget #opengov

Список правовых актов СССР и РСФСР, предлагаемых федеральным органам исполнительной власти
признать не действующими на территории Российской Федерации или утратившими силу
- http://майскийуказ.рф/upload/iblock/3bf/3_Perechen_aktov_predlagaemykh_k.doc

Да же настолько все старое, но действующее еще в 21 веке ? :)
- Письмо НКВД РСФСР от 24.12.1917 "Объ организацiи местнаго самоуправленiя"

Это фактически давно не применяется

Никому не мешает

Будет интересно если регуляторная гильотина этим и ограничится

Множество полезных ссылок на английском про данные вместо одной новости.

Дайджест по данным:
- гайд по тому как извлечь данные из PDF отчёта мексиканского правительства, обработать, проанализировать и визуализировать с помощью инструментария на Python.  [1]
- Амазон начал подкручивать алгоритмы поиска для большей видимости его собственных продуктов [2] (вот и доверяй после этого большим платформам, ага)
- Lectures in Quantitative Economicswith Python [3] свежая книга более в 1100 страниц о том как использовать Python в экономических расчётах. Студентам экономистам на заметку
- Умные телевизоры передают чувствительную информацию Netflix и Facebook [4]. Имеются в виду умные телевизоры в США в первую очередь, но смысл не меняется (статья Financial Times за пэйволлом).
- The Global Expansion of AI Surveillance [5] исследование от Carnegie Endowment for International Peace о том как глобальные системы слежки с искусственным интеллектом стремительно распространяются. Немного про Россию и много про Китай. В России упомянуты ключевые компании: Analytical Business Solutions, Cisco, Huawei, NtechLab, Speech Technology Center [6]. Даже не знаю порадоваться или опечалиться. А вот Huawei повсюду

Ссылки:
[1] https://github.com/PhantomInsights/mexican-government-report
[2] https://www.wsj.com/articles/amazon-changed-search-algorithm-in-ways-that-boost-its-own-products-11568645345
[3] https://lectures.quantecon.org/_downloads/pdf/py/Quantitative%20Economics%20with%20Python.pdf
[4] https://www.ft.com/content/23ab2f68-d957-11e9-8f9b-77216ebe1f17
[5] https://carnegieendowment.org/2019/09/17/global-expansion-of-ai-surveillance-pub-79847
[6] https://carnegieendowment.org/files/AI_Global_Surveillance_Index1.pdf

#digest #data #news

А есть ли данные по тому в каком возрасте умирают люди?

https://www.fedstat.ru/indicator/58775
Не подойдёт?

Да, спасибо

Многие базы данных имеют природу отнюдь не государственную, но общественную и исследовательскую. Иногда при господдержке, но часто за счёт частных и исследовательских фондов.

Например, сектор добычи полезных ископаемых, в первую очередь нефтегазовый сектор является объектом общественного интереса. И множество проектов в этой области создаются совсем не органами власти:
- Corporate Mapping Project [1] совместный проект нескольких канадских университетов и общественных организаций о том как устроено управление нефтегазовыми компаниями.
- National Oil Company Database [2] проект от NRGI с базой индикаторов по деятельности нефтегазовых компаний с высокой детализацией до компании.
- EITI [3] - стандарт раскрытия информации о добывающих компаниях. Применяется во многих станах, на постсоветском пространстве это: Казахастан, Киргизия, Таджикистан, Украина
- PWYP (Publish what you pay) [4] - международная НКО пропагандирующая прозрачность объектов общественного достояния - недр.
- Resource Contracts [5] база данных контрактов с добывающими компаниями сделанный совместно NRGI, Всемирным банком и рядом других организаций.
- Resouce Data [6] ещё один проект от NRGI с базой в виде наборов данных по добывающим отраслм
- Нигерийский проект по мониторингу разливов нефти [7]
- каталог проектов создающих и использующих данные в добывающем секторе [8]
- ResourceProjects [9] база платежей компаний странам за проекты в добывающей сфере. Налоги, роялти и иные платежи - всё здесь. Кстати данные по России там есть [10]

Ссылки:
[1] https://www.corporatemapping.ca/
[2] https://www.nationaloilcompanydata.org
[3] https://eiti.org/homepage
[4] https://www.pwyp.org/
[5] https://resourcecontracts.org/
[6] https://www.resourcedata.org/
[7] https://oilspillmonitor.ng/
[8] http://apps.resourcegovernance.org/use-ecosystem/
[9] http://www.resourceprojects.org/
[10] http://www.resourceprojects.org/country/Russian%20Federation

#data #oilgas #russia #un-digitaleconomy

19-20 октября пройдет хакатон Счетной палаты [1] с кучей интересных задач, полезных для понимания не только данных по госфинансам, но и работы с госданными в принципе.

Я же не могу не напомнить хорошее правило что когда Вы смотрите на подготовленные идеи проектов - не ограничивайтесь только ими. Часто какую-то идею вынашиваешь месяцами и годами и тут возможность её качественно представить.

Ссылки:
[1] https://web.facebook.com/events/804055623342930/

#opendata #data #hackahon #sprf

Обновление АРМ и резервоного ЦОДа Финмониторинга

Поздравляем! Вы используете последнюю версию Firefox.