Size: a a a

Open Data Russia Chat

2016 September 04

ИА

Илья А. in Open Data Russia Chat
Ivan Begtin
@ain92ru не, это общедоступные, но не открытые данные. Их надо парсить и превращать в CSV/JSON/XML или убеждать росархивовцев их отдавать
Спасибо за терминологическое пояснение.
Есть какое-то постановление правительства о том, что госорганы должны переводить первое во второе? Ведь чтобы отдать данные, росархивовцам придется писать API, насколько я понимаю, а своего программиста они наверняка сократили, когда рассекречивание заглохло с окончанием медведевского срока.
источник

IB

Ivan Begtin in Open Data Russia Chat
Постановление есть, но его конечно недостаточно. Их надо убеждать. API им писать не надо, надо сделать дамп данных из базы - это нетрудоёмкая задача
источник

SU

Sergey Ustinov in Open Data Russia Chat
Я думаю, идеальным вариантов было бы просто выбросить дамп, а уже активные ребята сами или в рамках хакатонов бы напилили более удобных сервисов для работы с этим.
источник

SU

Sergey Ustinov in Open Data Russia Chat
да, вот Иван сказал верно)
источник

IB

Ivan Begtin in Open Data Russia Chat
Вообще там не так сложно парсер сделать
источник

IB

Ivan Begtin in Open Data Russia Chat
Данные нечасто обновляются
источник

ИА

Илья А. in Open Data Russia Chat
Ivan Begtin
Постановление есть, но его конечно недостаточно. Их надо убеждать. API им писать не надо, надо сделать дамп данных из базы - это нетрудоёмкая задача
А у кого-то есть успешный опыт такого убеждения госорганов?)
источник

IB

Ivan Begtin in Open Data Russia Chat
Да у меня есть, но вообще если можно обойтись написанием парсера - лучше так и делать
источник

IB

Ivan Begtin in Open Data Russia Chat
Это гораздо быстрее
источник

ИА

Илья А. in Open Data Russia Chat
Ivan Begtin
Данные нечасто обновляются
Они несколько лет уже не обновляются.
Однако я не программист, а всего лишь любитель истории техники, так что если вы включите такую задачу в один из своих хакатонов, то будет круто.
источник

IB

Ivan Begtin in Open Data Russia Chat
Включим, вот тут у нас примеры задач - https://github.com/infoculture/datatasks/issues если несложно, внесите туда её. Или напишите мне на ibegtin@infoculture.ru что хотите получить и я сделаю такую задачу
источник

IZ

Ilya Zverev in Open Data Russia Chat
Илья А.
Что-то все замолчали, попробую свою тему вбросить.
Чат, вот это же открытые данные? unsecret.rusarchives.ru
Как с такими работать, если поиск дефисы не переваривает (например, попробуйте поискать "Союз-ТМ")?
Там копирайт висит на видном месте, никакой открытости (т.е. упоминаний открытых лицензий) нет.
источник

ИА

Илья А. in Open Data Russia Chat
Ilya Zverev
Там копирайт висит на видном месте, никакой открытости (т.е. упоминаний открытых лицензий) нет.
Значит ли это, что парсить их незаконно?
Есть ли в постановленияз правительства что-нибудь про лицензирование?
источник

OP

Olya Parkhimovich in Open Data Russia Chat
не пробовали спросить в письме техподдержке про лицензию, машиночитаемость и API?
источник

ИА

Илья А. in Open Data Russia Chat
Olya Parkhimovich
не пробовали спросить в письме техподдержке про лицензию, машиночитаемость и API?
Про API я и сам догадываюсь, про лицензию я подозреваю, что авторские права принадлежат фондообразователям (ведь это их работники в свое время сочиняли названия документов, по идее, а архивисты только агрегируют), а что вы имели в виду под машиночитаемостью, кроме API?
источник

ИА

Илья А. in Open Data Russia Chat
Вообще не писал, потому что не знаю, как надо правильно писать.
источник

OP

Olya Parkhimovich in Open Data Russia Chat
опубликовать базу хотя бы в виде датасетов. В письме спросить про лицензию (может ее нет, потому что они не знают о них) и спросить, нужна ли им помощь в подготовке структуры датасетов/разработке API и пр.
источник

ИА

Илья А. in Open Data Russia Chat
Olya Parkhimovich
опубликовать базу хотя бы в виде датасетов. В письме спросить про лицензию (может ее нет, потому что они не знают о них) и спросить, нужна ли им помощь в подготовке структуры датасетов/разработке API и пр.
Если в лицензиях я ещё более-менее ориентируюсь, то термин "датасет" пришлось гуглить (почувствовал себя лишним в чате 😒).
Вы имели в виду HTML5-объект, .NET-объект, либо то, либо другое или что-то еще?
источник

OP

Olya Parkhimovich in Open Data Russia Chat
Илья А.
Если в лицензиях я ещё более-менее ориентируюсь, то термин "датасет" пришлось гуглить (почувствовал себя лишним в чате 😒).
Вы имели в виду HTML5-объект, .NET-объект, либо то, либо другое или что-то еще?
сорри, не хотела :( датасет - массив данных (который можно скачать по ссылке), как, например, у сайта ГосЗатрат есть 1. форма для поиска контрактов (для обычных пользователей, которые просматривают данные на сайте), 2. есть API (для автоматических запросов, которые делают программисты в своих сервисах) 3. есть отдельные массивы данных (датасеты), с которыми могут работать все, кто имеет начальное представление о табличных данных https://clearspending.ru/opendata/
источник

ИА

Илья А. in Open Data Russia Chat
А, т.е. это примерно то же самое, что и дамп (в любом машиночитаемом формате), про который Иван писал, что проще распарсить, чем добиться его?
источник