SS
у меня правда фамилии не было приписано, и аватарки не стояло
Size: a a a
2019 August 28
SS
каюсь, грешен, пофлудить иногда могу, но троллить мне не особо интересно)
SS
да, кстати, ets дает такой некислый оверхед
SS
по 6*8 байт на запись, а это довольно много
SS
если сложить в тюплы, выходит гораздо дешевле. но вроде в теории должно и так уместиться, в ets-ках. даже без бинарей. но со словарями
SS
парсинг у меня щас со скоростью 0.2 сек на один файл идет.
SS
и это с кучей аллокаций на тюпл и на бинарь
SS
если по тупому в список все складывать, выходит на 100 метров один файл.
SS
т.е. даже больше джсона изначального)) а так быть не должно)
AB
каюсь, грешен, пофлудить иногда могу, но троллить мне не особо интересно)
видать, я вчера перегрелся )
SS
я вообще думал изначально пожать акк в бинарь вида
<<id :: int-size(22), city_id :: int-size(12), country_id :: int-size(12), ... >> — так вышло бы поменьше, да и как ни странно, из-за процессорного кеша (о боже, кто ж на нем на элексире то вспоминает) вероятно, работало бы быстрееSS
но вероятно, и без этого обойтись получится)
AB
да, кстати, ets дает такой некислый оверхед
ETS в принципе подходит больше именно по тому, что к нему можно доступ обеспечить из разных процессов. если же все положить в один ГС, то все помрет от переполнения очереди сообщений к одному процессу
SS
ну да
SS
я это понимаю, и поэтому тоже подумал, что лучше вроде бы именно ets
SS
но блин, тут вот дело в том, что сама запись в виде бинаря укладывается где-то байт в 30-40
SS
а ets дает оверхеда столько же
SS
т.е. тупо на ровном месте в два раза больше начинает структура весить)
AB
по поводу парсинга json - я просто тупо на Qt сделал парсинг и сложил все в файлы. формат такой, чтобы его бинари парсингом ерланга можно было хорошо разобрать. и вот бинари ерланг с файлов засасывает мгновенно и парсит тоже мгновенно. так что прям рекомендую. у меня был тупо порт. и он из файла
json делал файл бинарь
json делал файл бинарь
SS
ну у меня свой парсер, который там в проекте есть уже, я его просто в нифку вчерась портировал