AT
Clickhouse жмёт только некоторые конкретные сорта данных.
В любой непонятной ситуации надо брать постгрес.
В любой непонятной ситуации надо брать постгрес.
Для каких типов данных из блокчейна не подходит алгоритм сжатия LZ4?
Size: a a a
2020 October 28
I
для хешей например
I
в постгресе кстати он есть
V
вместо изобретения велосипеда можно взять какой-нибудь реальный таск с фриланса и задемпинговать. И денег заработается, и задача будет не абстрактная
I
экспа не заработается скорее всего
2020 October 29
S
Не в теме. Что значит готовый эксплорер?
Посмотри на реализацию alethio, там есть классный опенсурсный индексер на go, memento называется, он в potgre все складывает
IP
Привет, подскажите какую базу лучше использовать для хранения информации об адресах, транзакций и т.д. Благодарю.
Ethereum ETL https://github.com/blockchain-etl/ethereum-etl
BlockScout (дисклеймер: мы поддерживаем этот продукт)
https://github.com/poanetwork/blockscout
EthVM https://github.com/EthVM/EthVM
Индексер на ClickHouse (для патриотов)
https://github.com/cyber-drop/ethereum_analytical_db
BlockScout (дисклеймер: мы поддерживаем этот продукт)
https://github.com/poanetwork/blockscout
EthVM https://github.com/EthVM/EthVM
Индексер на ClickHouse (для патриотов)
https://github.com/cyber-drop/ethereum_analytical_db
AK
Ethereum ETL https://github.com/blockchain-etl/ethereum-etl
BlockScout (дисклеймер: мы поддерживаем этот продукт)
https://github.com/poanetwork/blockscout
EthVM https://github.com/EthVM/EthVM
Индексер на ClickHouse (для патриотов)
https://github.com/cyber-drop/ethereum_analytical_db
BlockScout (дисклеймер: мы поддерживаем этот продукт)
https://github.com/poanetwork/blockscout
EthVM https://github.com/EthVM/EthVM
Индексер на ClickHouse (для патриотов)
https://github.com/cyber-drop/ethereum_analytical_db
+
AK
Посмотри на реализацию alethio, там есть классный опенсурсный индексер на go, memento называется, он в potgre все складывает
+
AK
вместо изобретения велосипеда можно взять какой-нибудь реальный таск с фриланса и задемпинговать. И денег заработается, и задача будет не абстрактная
Нормальный велосипед: обработка и хранение больших данных + скорость. На фрилансе такие проекты редкость. Там обычно задачи: подключить на сайт оплату в эфире и тд.
s
Какие инструменты есть для принятия оплаты в ETH/BTC для react/js?
2020 October 30
С
👋 Привет
S
Для каких типов данных из блокчейна не подходит алгоритм сжатия LZ4?
в теории для адресов, хешей транзакций, любые алгоритмы сжатия будут очень паршиво работать, распределение байтов в них близкое к случайному - это худший случай для сжатия
AT
в теории для адресов, хешей транзакций, любые алгоритмы сжатия будут очень паршиво работать, распределение байтов в них близкое к случайному - это худший случай для сжатия
Это казалось бы верное утверждение создает предпосылки к заблуждению, что кликхаус не может экономичнее потреблять диск, чем постгрес или мускуль.
S
мое утверждение никаким боком не говорит кто из движков как потребляет диск и относится только к сжатию
AT
мое утверждение никаким боком не говорит кто из движков как потребляет диск и относится только к сжатию
Ладно, конкретно по вашему - если некоторые хэши будут повторены в массиве данных сотни и тысячи раз, это никак не повлияет на сжатие?
S
конечно повлияет в описанном конкретном случае. Но вопрос был про алгоритм LZ4, "для каких типов данных" и для условного "блокчейна". Например для хешей транзакций плохо подойдет. Для BTC UTXO тоже плохо подойдет - там большинство адресов используются один раз.
2020 November 01
IK
Ладно, конкретно по вашему - если некоторые хэши будут повторены в массиве данных сотни и тысячи раз, это никак не повлияет на сжатие?
Хеши то без коллизий😀
oe
yeah the old error was confusing too
AK
Хеши то без коллизий😀
+