Size: a a a

Чат к каналу @begtin

2020 April 26

IB

Ivan Begtin in Чат к каналу @begtin
там нет json'ов, надо экстрактить из html, но задача простая
источник

IB

Ivan Begtin in Чат к каналу @begtin
Я когда-то делал утилиты командной строки которые сильно это упрощали
вот тут код, я его обновил как раз поскольку на стопкоронавирус.рф зачем-то пихают "th" в поля в каждый с "tr"
https://github.com/ivbeg/lazyscraper
источник

IB

Ivan Begtin in Чат к каналу @begtin
вот так выглядит команда для получения CSVшек
python lscraper.py gettable --fieldnames region,sick,healed,dead --url https://xn--80aesfpebagmfblc0a.xn--p1ai/ --output stop.csv
источник

IB

Ivan Begtin in Чат к каналу @begtin
источник

IB

Ivan Begtin in Чат к каналу @begtin
это на выходе
источник

IB

Ivan Begtin in Чат к каналу @begtin
соответственно не обязательно всё делать с командной строки, там питоновская библиотека, её можно встроить куда захочется
источник

VS

Victor Stepankov in Чат к каналу @begtin
источник

VS

Victor Stepankov in Чат к каналу @begtin
Ivan Begtin
там нет json'ов, надо экстрактить из html, но задача простая
Чекну, там карта на vue, врядли они при изменении значений компилят
источник

IB

Ivan Begtin in Чат к каналу @begtin
Victor Stepankov
Чекну, там карта на vue, врядли они при изменении значений компилят
Там карта через SVG path https://www.w3schools.com/graphics/svg_path.asp
источник

VS

Victor Stepankov in Чат к каналу @begtin
Всё верно, карта на Vue.js, как и бОльшая часть фронта проекта.
SVG это уже реализация конкретной анимации.

А прям в главной странице - стата по диагностированным в виде JSON.
источник

VS

Victor Stepankov in Чат к каналу @begtin
К вашей утилите я бы ещё добавил https://github.com/lorien/awesome-web-scraping/blob/master
тут очень много всего для извлечения и обработки данных, но времени не хватает пересмотреть решения
источник

G

Gip24 in Чат к каналу @begtin
- Это исследование аудитории Эрмитажа на основании фотографий, которые загружают в инстаграм посетители.

https://hashtag-museum.org/
источник

IB

Ivan Begtin in Чат к каналу @begtin
Victor Stepankov
К вашей утилите я бы ещё добавил https://github.com/lorien/awesome-web-scraping/blob/master
тут очень много всего для извлечения и обработки данных, но времени не хватает пересмотреть решения
да, я её время от времени дорабатываю
источник

NK

ID:0 in Чат к каналу @begtin
Мне тут надо написать несколько текстов, но идёт очень тяжело, так что попробую отрефлексировать одну давнюю мысль.

Многие ИТ специалисты столкнувшиеся с законами и прочими нормативными документами давно уже говорят, пишут, рассуждают на тему того что надо сделать "Git для законов". Для тех кто не из ИТ мира поясню.

Git - это такая система управления версиями кода и текстов в которой всё устроено через патчи к предыдущим версиям. На самом деле также устроено и во многих других системах контроля версий, но я буду использовать Git как базовый пример. Потому что такие размышления уже публиковались неоднократно [1] [2]

Основной тезис тут в том что с законами можно работать как с кодом. Это как devops - программирование инфраструктуры сложно это код или dataops - программирование систем управления данными словно это код и вот lawops - программирование законов словно это код.

Концепция непростая, но, как ни странно не невозможная. Ключевое в ней - это преодоление приоритета бумаги над цифрой. Бумага, в данном случае, момент признания нормативного правила/обязательства/права и форма его выражения. Если сейчас первичная "бумага", а то есть например, распоряжение о назначении или снятии кого-то вначале подписывается на бумаге и лишь потом реализуется через систему управления кадрами (если вообще есть такая система), то в случае приоритета цифры возникают "учётные действия" от которых уже порождаются документы "на бумаге".

Есть действия которые касаются простых понятий и показателей. Назначить, уволить, создать, ликвидировать, ратифицировать, изменить общий значимый параметр (МРОТ, ставка налога и тд). Если говорить про Россию то таких учётных действий до 90% всех подписываемых документов.

Всё это требует создания этой самой системы нормативных действий. Причём она должна иметь принципиально иные характеристики, как минимум, в части уведомления субъектов регулирования о появлении новой нормы. Это уже не классические нормативно-правовые системы, а вполне машиночитаемые уведомления на платформах любого типа.

Однако, именно нормативные документы являются основой госуправления. Изменить природу появления норм - это изменить и структурировать природу управления государством или даже чуть меньшей структурой (регион, муниципалитет, корпорация).

Такие изменения возможны только если "есть этого слона по частям", а то есть разделять НПА на блоки. Например, вначале распоряжения о назначении/увольнении, далее распоряжения награждении, далее распоряжения о ратификации, далее постановления по установлению базовых параметров, далее в части НПА идущих по короткому пути - ведомственные приказы, далее законы идущие по короткому пути, на каких-то этапах, и далее уже всё целиком.

На самом деле всё подобное возможно, и отнюдь не геймифицирует госуправление, а задаёт множество ограничительных рамок и значительно упрощает инструменты не только принятия решений, но и прогнозирования.

Более того, в некоторых направлениях эти изменения сильно прогрессируют. Например, закон о бюджете на федеральном уровне это давно уже не закон в привычном понимании, а сложный, автоматизированный процесс, а сам бюджет уже не документ, а "слепок в системе".

Я, при этом, не считаю что подобное "обесчеловечивания" будет просто внедрить. Слишком активна и влиятельна прослойка лиц находящихся между инициативой НПА и постановкой последней подписи и автоматизация этого процесса может лишить этих посредников заработка.

Но тренд на подобное совершенно ясно присутствует и я берусь предсказать что в течение 10-15 лет именно так всё и будет.

P.S. Хочу на эту тему большую международную дискуссию или хотя бы статью написать на английском. Пока делюсь мыслями тут


Ссылки:
[1] https://blog.abevoelker.com/gitlaw-github-for-laws-and-legal-documents-a-tourniquet-for-american-liberty/
[2] https://sunlightfoundation.com/2014/06/25/opengov-voices-how-gitlaw-turns-the-french-parliamentary-process-into-open-data/

#thoughts #discuss #law #lawtech #lawops
источник

VS

Victor Stepankov in Чат к каналу @begtin
ID:0
Мне тут надо написать несколько текстов, но идёт очень тяжело, так что попробую отрефлексировать одну давнюю мысль.

Многие ИТ специалисты столкнувшиеся с законами и прочими нормативными документами давно уже говорят, пишут, рассуждают на тему того что надо сделать "Git для законов". Для тех кто не из ИТ мира поясню.

Git - это такая система управления версиями кода и текстов в которой всё устроено через патчи к предыдущим версиям. На самом деле также устроено и во многих других системах контроля версий, но я буду использовать Git как базовый пример. Потому что такие размышления уже публиковались неоднократно [1] [2]

Основной тезис тут в том что с законами можно работать как с кодом. Это как devops - программирование инфраструктуры сложно это код или dataops - программирование систем управления данными словно это код и вот lawops - программирование законов словно это код.

Концепция непростая, но, как ни странно не невозможная. Ключевое в ней - это преодоление приоритета бумаги над цифрой. Бумага, в данном случае, момент признания нормативного правила/обязательства/права и форма его выражения. Если сейчас первичная "бумага", а то есть например, распоряжение о назначении или снятии кого-то вначале подписывается на бумаге и лишь потом реализуется через систему управления кадрами (если вообще есть такая система), то в случае приоритета цифры возникают "учётные действия" от которых уже порождаются документы "на бумаге".

Есть действия которые касаются простых понятий и показателей. Назначить, уволить, создать, ликвидировать, ратифицировать, изменить общий значимый параметр (МРОТ, ставка налога и тд). Если говорить про Россию то таких учётных действий до 90% всех подписываемых документов.

Всё это требует создания этой самой системы нормативных действий. Причём она должна иметь принципиально иные характеристики, как минимум, в части уведомления субъектов регулирования о появлении новой нормы. Это уже не классические нормативно-правовые системы, а вполне машиночитаемые уведомления на платформах любого типа.

Однако, именно нормативные документы являются основой госуправления. Изменить природу появления норм - это изменить и структурировать природу управления государством или даже чуть меньшей структурой (регион, муниципалитет, корпорация).

Такие изменения возможны только если "есть этого слона по частям", а то есть разделять НПА на блоки. Например, вначале распоряжения о назначении/увольнении, далее распоряжения награждении, далее распоряжения о ратификации, далее постановления по установлению базовых параметров, далее в части НПА идущих по короткому пути - ведомственные приказы, далее законы идущие по короткому пути, на каких-то этапах, и далее уже всё целиком.

На самом деле всё подобное возможно, и отнюдь не геймифицирует госуправление, а задаёт множество ограничительных рамок и значительно упрощает инструменты не только принятия решений, но и прогнозирования.

Более того, в некоторых направлениях эти изменения сильно прогрессируют. Например, закон о бюджете на федеральном уровне это давно уже не закон в привычном понимании, а сложный, автоматизированный процесс, а сам бюджет уже не документ, а "слепок в системе".

Я, при этом, не считаю что подобное "обесчеловечивания" будет просто внедрить. Слишком активна и влиятельна прослойка лиц находящихся между инициативой НПА и постановкой последней подписи и автоматизация этого процесса может лишить этих посредников заработка.

Но тренд на подобное совершенно ясно присутствует и я берусь предсказать что в течение 10-15 лет именно так всё и будет.

P.S. Хочу на эту тему большую международную дискуссию или хотя бы статью написать на английском. Пока делюсь мыслями тут


Ссылки:
[1] https://blog.abevoelker.com/gitlaw-github-for-laws-and-legal-documents-a-tourniquet-for-american-liberty/
[2] https://sunlightfoundation.com/2014/06/25/opengov-voices-how-gitlaw-turns-the-french-parliamentary-process-into-open-data/

#thoughts #discuss #law #lawtech #lawops
есть очень хороший доклад об "межвидовой" имплементации технологией разработки
https://habr.com/ru/company/it_people/blog/445972/
источник

АШ

Андрей Шкода in Чат к каналу @begtin
@ibegtin «...Однако, именно нормативные документы являются основаой госуправления...»
источник

IB

Ivan Begtin in Чат к каналу @begtin
Андрей Шкода
@ibegtin «...Однако, именно нормативные документы являются основаой госуправления...»
ага, поправил
источник

ID

Ivan Deryabin in Чат к каналу @begtin
Поле непаханое. Не нашел приложений куда можно вносить дневник людавления и пульса. Ни яндексу ни гуглу не интересна такая бигдата.
источник

FM

Fedor Moroseev in Чат к каналу @begtin
ID:0
Мне тут надо написать несколько текстов, но идёт очень тяжело, так что попробую отрефлексировать одну давнюю мысль.

Многие ИТ специалисты столкнувшиеся с законами и прочими нормативными документами давно уже говорят, пишут, рассуждают на тему того что надо сделать "Git для законов". Для тех кто не из ИТ мира поясню.

Git - это такая система управления версиями кода и текстов в которой всё устроено через патчи к предыдущим версиям. На самом деле также устроено и во многих других системах контроля версий, но я буду использовать Git как базовый пример. Потому что такие размышления уже публиковались неоднократно [1] [2]

Основной тезис тут в том что с законами можно работать как с кодом. Это как devops - программирование инфраструктуры сложно это код или dataops - программирование систем управления данными словно это код и вот lawops - программирование законов словно это код.

Концепция непростая, но, как ни странно не невозможная. Ключевое в ней - это преодоление приоритета бумаги над цифрой. Бумага, в данном случае, момент признания нормативного правила/обязательства/права и форма его выражения. Если сейчас первичная "бумага", а то есть например, распоряжение о назначении или снятии кого-то вначале подписывается на бумаге и лишь потом реализуется через систему управления кадрами (если вообще есть такая система), то в случае приоритета цифры возникают "учётные действия" от которых уже порождаются документы "на бумаге".

Есть действия которые касаются простых понятий и показателей. Назначить, уволить, создать, ликвидировать, ратифицировать, изменить общий значимый параметр (МРОТ, ставка налога и тд). Если говорить про Россию то таких учётных действий до 90% всех подписываемых документов.

Всё это требует создания этой самой системы нормативных действий. Причём она должна иметь принципиально иные характеристики, как минимум, в части уведомления субъектов регулирования о появлении новой нормы. Это уже не классические нормативно-правовые системы, а вполне машиночитаемые уведомления на платформах любого типа.

Однако, именно нормативные документы являются основой госуправления. Изменить природу появления норм - это изменить и структурировать природу управления государством или даже чуть меньшей структурой (регион, муниципалитет, корпорация).

Такие изменения возможны только если "есть этого слона по частям", а то есть разделять НПА на блоки. Например, вначале распоряжения о назначении/увольнении, далее распоряжения награждении, далее распоряжения о ратификации, далее постановления по установлению базовых параметров, далее в части НПА идущих по короткому пути - ведомственные приказы, далее законы идущие по короткому пути, на каких-то этапах, и далее уже всё целиком.

На самом деле всё подобное возможно, и отнюдь не геймифицирует госуправление, а задаёт множество ограничительных рамок и значительно упрощает инструменты не только принятия решений, но и прогнозирования.

Более того, в некоторых направлениях эти изменения сильно прогрессируют. Например, закон о бюджете на федеральном уровне это давно уже не закон в привычном понимании, а сложный, автоматизированный процесс, а сам бюджет уже не документ, а "слепок в системе".

Я, при этом, не считаю что подобное "обесчеловечивания" будет просто внедрить. Слишком активна и влиятельна прослойка лиц находящихся между инициативой НПА и постановкой последней подписи и автоматизация этого процесса может лишить этих посредников заработка.

Но тренд на подобное совершенно ясно присутствует и я берусь предсказать что в течение 10-15 лет именно так всё и будет.

P.S. Хочу на эту тему большую международную дискуссию или хотя бы статью написать на английском. Пока делюсь мыслями тут


Ссылки:
[1] https://blog.abevoelker.com/gitlaw-github-for-laws-and-legal-documents-a-tourniquet-for-american-liberty/
[2] https://sunlightfoundation.com/2014/06/25/opengov-voices-how-gitlaw-turns-the-french-parliamentary-process-into-open-data/

#thoughts #discuss #law #lawtech #lawops
Википедия управляется правилами, которые пишут сообщество в виде правок
источник

VS

Victor Stepankov in Чат к каналу @begtin
Ivan Deryabin
Поле непаханое. Не нашел приложений куда можно вносить дневник людавления и пульса. Ни яндексу ни гуглу не интересна такая бигдата.
именно вносить? С каждым браслетом сейчас своя аппка идёт
источник