DF
Хех
return (..., ((result += ':') += ts)), result;
так лучше?)
Size: a a a
2020 July 22
AB
так лучше?)
Лучше
s
Я правильно понимаю, что при сортировке вектора или дэка элементы в памяти никуда не сдвигаются, а только меняются ссылки между ними? Т.е. грубо говоря сортировка строк займет то же время, что и сортировка указателей на строки?
https://google.github.io/flatbuffers/classflatbuffers_1_1_flat_buffer_builder.html#a23aa4c910e053446cc404bc486012e54
https://google.github.io/flatbuffers/classflatbuffers_1_1_flat_buffer_builder.html#a7cc10b709dfa3e72083843d1a5e36c15
https://google.github.io/flatbuffers/classflatbuffers_1_1_flat_buffer_builder.html#a2130ef232ff405eebe2e7f184ecd06e6
https://google.github.io/flatbuffers/classflatbuffers_1_1_flat_buffer_builder.html#a7cc10b709dfa3e72083843d1a5e36c15
https://google.github.io/flatbuffers/classflatbuffers_1_1_flat_buffer_builder.html#a2130ef232ff405eebe2e7f184ecd06e6
s
в кликхаусе вон юзают флэтбуфферы(хз правда для чего именно) - в очередной раз рекомендую посмотреть на его API List)
s
https://google.github.io/flatbuffers/flatbuffers_benchmarks.html
это практически raw structs, ну и то что их в геймдеве используют должно наводить на мысли что с производительностью это как-то связано и о ней подумали и люди смотрят и кэшмисы и спинлоки и тд
это практически raw structs, ну и то что их в геймдеве используют должно наводить на мысли что с производительностью это как-то связано и о ней подумали и люди смотрят и кэшмисы и спинлоки и тд
s
https://engineering.fb.com/android/improving-facebook-s-performance-on-android-with-flatbuffers/
Conclusion
FlatBuffers is a data format that removes the need for data transformation between storage and the UI. In adopting it, we have also driven additional architectural improvements in our app like Flat Models. The mutation extensions that we built on top of FlatBuffers allow us to track server data, mutations, and local state all in a single structure, which has allowed us to simplify our data model and expose a unified API to our UI components.
In last six months, we have transitioned most of Facebook on Android to use FlatBuffers as the storage format. Some performance improvement numbers include:
Story load time from disk cache is reduced from 35 ms to 4 ms per story.
Transient memory allocations are reduced by 75 percent.
Cold start time is improved by 10-15 percent.
We have reduced storage size by 15 percent.
It’s exciting to see a choice in data format allow people to spend just a little more time reading their friends’ updates and seeing photos of their families. Thanks, FlatBuffers!
Conclusion
FlatBuffers is a data format that removes the need for data transformation between storage and the UI. In adopting it, we have also driven additional architectural improvements in our app like Flat Models. The mutation extensions that we built on top of FlatBuffers allow us to track server data, mutations, and local state all in a single structure, which has allowed us to simplify our data model and expose a unified API to our UI components.
In last six months, we have transitioned most of Facebook on Android to use FlatBuffers as the storage format. Some performance improvement numbers include:
Story load time from disk cache is reduced from 35 ms to 4 ms per story.
Transient memory allocations are reduced by 75 percent.
Cold start time is improved by 10-15 percent.
We have reduced storage size by 15 percent.
It’s exciting to see a choice in data format allow people to spend just a little more time reading their friends’ updates and seeing photos of their families. Thanks, FlatBuffers!
t
Сравнил производительность... У меня депрессия
Convert JS -> C++ data: 1177Даже без учета конвертации данных сам алгоритм на JS в 10 раз быстрее работает! В 10 раз, Карл! Что не так с этим С++?)
C++ Groupping: 304
Convert C++ -> JS data: 929
----
C++ addon duration, ms: 2571.0580009818077
JS duration, ms: 32.3115000128746
Е
Сравнил производительность... У меня депрессия
Convert JS -> C++ data: 1177Даже без учета конвертации данных сам алгоритм на JS в 10 раз быстрее работает! В 10 раз, Карл! Что не так с этим С++?)
C++ Groupping: 304
Convert C++ -> JS data: 929
----
C++ addon duration, ms: 2571.0580009818077
JS duration, ms: 32.3115000128746
В релизе тестили?
DP
Сравнил производительность... У меня депрессия
Convert JS -> C++ data: 1177Даже без учета конвертации данных сам алгоритм на JS в 10 раз быстрее работает! В 10 раз, Карл! Что не так с этим С++?)
C++ Groupping: 304
Convert C++ -> JS data: 929
----
C++ addon duration, ms: 2571.0580009818077
JS duration, ms: 32.3115000128746
Руки которые на цпп писали видимо
t
В релизе тестили?
Не, на локальной машине только. Какой релиз с такими данными?
Е
Не, на локальной машине только. Какой релиз с такими данными?
Тип билда - релиз
AK
Сравнил производительность... У меня депрессия
Convert JS -> C++ data: 1177Даже без учета конвертации данных сам алгоритм на JS в 10 раз быстрее работает! В 10 раз, Карл! Что не так с этим С++?)
C++ Groupping: 304
Convert C++ -> JS data: 929
----
C++ addon duration, ms: 2571.0580009818077
JS duration, ms: 32.3115000128746
Классика сравнений
IG
Сравнил производительность... У меня депрессия
Convert JS -> C++ data: 1177Даже без учета конвертации данных сам алгоритм на JS в 10 раз быстрее работает! В 10 раз, Карл! Что не так с этим С++?)
C++ Groupping: 304
Convert C++ -> JS data: 929
----
C++ addon duration, ms: 2571.0580009818077
JS duration, ms: 32.3115000128746
V8 код разогрел, скорее всего, вот и производительность такая на JS
t
Тип билда - релиз
Так это под ноду сборка, там сразу релиз
IG
Так это под ноду сборка, там сразу релиз
А это вызов аддона С++ из ноды?
t
Руки которые на цпп писали видимо
https://gist.github.com/tamtakoe/860e0f3dc19e4ac268f64ec4b835deec#file-group-by-cpp-L88
Напишите в 10 раз быстрее)
Напишите в 10 раз быстрее)
t
А это вызов аддона С++ из ноды?
Ага. Но конкретно время замерял в самом аддоне. Т.е. 300 мс против 30 это чистое время выполнения алгоритма без учены накладных расходов
Е
https://gist.github.com/tamtakoe/860e0f3dc19e4ac268f64ec4b835deec#file-group-by-cpp-L88
Напишите в 10 раз быстрее)
Напишите в 10 раз быстрее)
а код бенчей глянуть можно?
IG
Ага. Но конкретно время замерял в самом аддоне. Т.е. 300 мс против 30 это чистое время выполнения алгоритма без учены накладных расходов
Тогда отдельно С++ профилировать нужно и алгоритм оптимизировать.