Size: a a a

2021 May 15

SG

Samat Galimov in ctodailychat
источник

AR

Anton Revyako in ctodailychat
Я с GIN практически не работал, если честно. Но для ускорения апдейтов есть прям очень простой чит от лучших слоноводов - апдейтить только то, что действительно надо апдейтить.

UPDATE t 
   SET f = 1
WHERE
   id = $id
       AND
   f <> 1 -- !!!!!


В большинстве проектов это разгрузит сервер существенно.

Если подходить более комплексно, то первое, о чем можно подумать - это партиционирование таблиц. А надеюсь, что апдейтится не primary key, а значит на каждую партицию можно иметь свой независимый индекс, который не будет блоатиться. В свежих версиях PG хоть и не изобрели автосоздания партишенов, но по крайней мере есть DEFAULT партишен, куда попадет все, если подходящий партишен не найден.

Там дальше появляются еще бенефиты - партишены можно раскидать по разным дискам и получить дополнительных иопсов.

Т.е. идея в том, что не все данные постоянно перетряхиваются. Если перетряхиваются все и их много, возможно, есть смысл подумать об архитектуре более детально.

Когда мы парсили блокчейн, с индексированием все было больно по понятным причинам. В определенный момент до нас дошло, что переиндексировать все не нужно. надо разделить данные на head и tail и раз в месяц, например, данные скидывать из одного в другой. Т.е. head был всегда только на чтение.

Если зайти совсем далеко, можно head и tail разложить по разным базам и делать map-reduce на стороне приложения. Но это по понятным причинам не всем подходит
источник

SG

Samat Galimov in ctodailychat
🧠
источник

OT

Oleg Teterin in ctodailychat
Коллеги, у кого есть опыт создания собственной крипто валюты? Интересуют ответы на вот эти вопросы:

1 What’s the best token ERC20 or ...?
2 How to avoid your coin to be named a scam
3 How to backup you coin with real product, invention
4 Can you share with a good example of the white paper
5 What should be mentioned in white paper considering first points?
6 If it’s so easy why there are still few coins (onMarketplace less than 4000)
7 What are my expenses (investments) to launch a coin (besides marketing & development)
8 How to defend my ownership of my coin from being stolen
9 How much coins the best to issue
10 Which blockchain root to choose? What architecture to build?
11 If I have 2 coins in mind how I should differ them
12 Which platform is better for listing at the beginning?
13 How to book the coin name right now before the launch?
источник

AA

Anri Asaturov in ctodailychat
С 6 пункта орнул
источник

N

Nikita in ctodailychat
не этично такие вопросы бесплатно спрашивать и не уместно спрашивать их тут
источник

A

Alexander in ctodailychat
Если нужны ответы на 13 вопросов, достаточно задать 1: У кого есть опыт создания собственной крипты и можно ли с вами поговорить. А так это даже читать лень. PS. У меня нет опыта создания крипты, как и 99 процентов населения планеты
источник

IN

Ilya Noskov in ctodailychat
Ребят, а кто нибудь сталкивался с задачей выполнения многочасовых data processing jobs on demand? Есть data pipeline который выполняется пару часов (через Airflow) и нужно его запускать руками раз-два в месяц. Не хочется платить за простой машины в AWS, а поднимать ее on demand.

AWS Lambda здесь не подходит потому что максимальный лимит 15 минут. Как бы так сделать чтобы стартануть EC2, запустить в нем job, и потом выключить как все готово?
источник

OG

Omar Ganiev in ctodailychat
через ec2 api должно быть легко, даёшь стартовый скрипт, инстанс стартанёт, и можно туда вставить убийство этого инстанса по апи.
Может, есть и более элегантные решения специально для этого (как лямбда)
источник

SS

Slava Savitskiy in ctodailychat
вот кстати был же эпизод про крипту, там довольно подробно. конечно, без ответов на какой-то опросник на вакансию из интернета на английском
источник

RK

Roman Kononov in ctodailychat
Да, нет
источник

IV

Igor V in ctodailychat
Смотри в сторону AWS Batch или Airflow ECS operator
источник

IN

Ilya Noskov in ctodailychat
спасибо!
источник

IV

Igor V in ctodailychat
Кстати у Амазона недавно появился MWAA и там интеграция с batch и ecs прямо в коробке
источник

IN

Ilya Noskov in ctodailychat
Вообще я пытаюсь сделать backfill on demand. Чтобы пользователь мог задать интервал который нужно пересчитать и он пересчитывался. Основной Airflow у меня на Astronomer.io (офигенский Airflow-as-a-Service) но там нет способа backfills делать на Production кластере.

Вот думаю сделать что то вроде EC2 сервера, который стартуется, делает backfill, и выключается
источник

IN

Ilya Noskov in ctodailychat
можно написать отдельный DAG конечно для таких вот задач, но это удваивает работу для всех DAGs
источник

IV

Igor V in ctodailychat
Batch и ECS это делают из коробки.  По окончании задачи нода уничтожается
источник

С

Слава in ctodailychat
А если нода например помрёт сама по себе (такое теоретически возможно в AWS), будет ли она перезапущена?
источник

IV

Igor V in ctodailychat
Да
источник

A

Alex in ctodailychat
Я как раз о том, что выборка слишком большая и общая, для понимания картины нужен когорт-анализ. У кого-то трое детей в двухкомнатной квартире, а у кого-то рабочий сарай во дворе, куда они уходят на весь день. (в Англии такое распространено, если у тебя garden flat с садом - в саду делают флигелёк для работы)
источник