IS
объем и сложность?
если речь про API, то ответ на 90% устаревший
если речь про API, то ответ на 90% устаревший
Size: a a a
2021 May 07
IS
Ну вот да, ниже расписали, просто одновременно в 8 баз идете а не последовательно запрашиваете.
DK
А в чем сложность больших объемов, если парсинг json хорошо параллелится ?
IS
Ну вот есть эндпоинт, закрытый, который умеет отвечать инфой в ответ на одиночный - ну пусть ИНН.
Сама база и логика вне рабочего контура.
Ответ в районе секунды, запускаем потоки - ускорение почти линейное за минусом затрат на инциацию. У меня пара задач таких была в жизни. Пакет посмотрю, спасибо большое!
Сама база и логика вне рабочего контура.
Ответ в районе секунды, запускаем потоки - ускорение почти линейное за минусом затрат на инциацию. У меня пара задач таких была в жизни. Пакет посмотрю, спасибо большое!
IS
Ну это шняга какая то.
Я при наличии возможности предпочитаю реплики боевых баз, а в своих продуктах так уж точно.
Вот то что лежит в сервисе и есть реальное, и на важных кусках хочу владеть всей логикой. А на стукаться о то, как джун аналитик посчитал где то, или датаинжинер в etl накосорезил
Я при наличии возможности предпочитаю реплики боевых баз, а в своих продуктах так уж точно.
Вот то что лежит в сервисе и есть реальное, и на важных кусках хочу владеть всей логикой. А на стукаться о то, как джун аналитик посчитал где то, или датаинжинер в etl накосорезил
IS
если ко мне, то не совсем понял вопрос.
Ответ у меня есть.
1. ответы иногда бывают очень сложные и иерархичные и неструктурированные.
2. объемы бывают весьма большими (иногда json можно из базы тащить).
Ответ: скорость, надежность и компактность кода.
Ответ у меня есть.
1. ответы иногда бывают очень сложные и иерархичные и неструктурированные.
2. объемы бывают весьма большими (иногда json можно из базы тащить).
Ответ: скорость, надежность и компактность кода.
AS
Функцию на другом языке нашёл, но сходу понять, насколько она параллельна, я пока не могу.
IS
по состоянию на 07.05.2010 правильный подход для парсинга json на потоке такой:
1. https://dirk.eddelbuettel.com/code/rcpp.simdjson.html
2. https://github.com/ropensci/jqr
3.
1. https://dirk.eddelbuettel.com/code/rcpp.simdjson.html
2. https://github.com/ropensci/jqr
3.
jsonlite
типичный сценарий парсинга — десятки гигабайт слабо структирированного шлака в контуре операционной аналитики.IS
речь идет об ускорении в несколько порядков!
IS
как правило, мало кто знает про эти пакеты.
насчет
https://habr.com/ru/post/448950/
насчет
jqr проще поделиться давней публикацией:https://habr.com/ru/post/448950/
IS
Во я года два назад когда столкнулся с этой статьи начинал)
AS
Простите за святотатство, но вроде как этот код про выполнение запросов к 8 бд и он, по ходу, выполняется, последовательно:
cur.execute(query)
for result in cur:
res.append(list(result))
AS
Ну и выше по коду
cur = oracle_connection.cursor()
IS
а еще append делают...
AS
Яндекс.Практикум в деле.
IS
foreach %>% rbindlist
AS
Это ж Python.
DK
Вопрос был скорее в зал)) скорость, надёжность, читаемость - это вообще святой грааль, этим можно вечно заниматься
IS
