Size: a a a

SDS и Кластерные FS

2021 January 10

SA

Slava Anzhiganov in SDS и Кластерные FS
Irek Fasikhov
а доставка гарантируется?
т.е. у вас логи в проете сохраняются? ))
источник

IF

Irek Fasikhov in SDS и Кластерные FS
Slava Anzhiganov
т.е. у вас логи в проете сохраняются? ))
а что логи не должны гарантированно сохранятся? :)
источник

SA

Slava Anzhiganov in SDS и Кластерные FS
Irek Fasikhov
а что логи не должны гарантированно сохранятся? :)
от заачи зависит, cap-теорема, все дела
источник

IF

Irek Fasikhov in SDS и Кластерные FS
Slava Anzhiganov
от заачи зависит, cap-теорема, все дела
вот это я очень обожаю))). К примеру, есть любая транзакционность(СУБД  например) и некий триггер, который пишет/срёт/гадит в лог. Как в этом случае настроить rsyslog c гарантированной доставкой, при этом без прое*ов общего latency?
источник

SA

Slava Anzhiganov in SDS и Кластерные FS
Irek Fasikhov
вот это я очень обожаю))). К примеру, есть любая транзакционность(СУБД  например) и некий триггер, который пишет/срёт/гадит в лог. Как в этом случае настроить rsyslog c гарантированной доставкой, при этом без прое*ов общего latency?
в rsyslog, например, есть два варианта tcp и udp.
если же тебе нужно 100 проц увереность доставки, то тут fluentd с буферизацией (как сделать буверизацию в rsysl я не разберался)
источник

SA

Slava Anzhiganov in SDS и Кластерные FS
сейчас у себя на cdn использую второй вариант, с самописным модулем
источник
2021 January 11

SA

Slava Anzhiganov in SDS и Кластерные FS
но это работает медленнее, чем udp отправка данных
источник

i

ivdok in SDS и Кластерные FS
Nik Sh
Ага, а потом разрабы включат лог для отладки чего-то и inotify сразу поплохеет. Csync2 как то проще и надёжнее в этом плане, держал 6 нод с 5кк файлов на нем для статики бмтрикса, работало, но очень редко било файлы на одном из узлов.
За логи в публично доступной папке вроде /var/www надо давать по башке, с занесением в личное дело. Как и за менеджмент-панель без VPN.
источник

SA

Slava Anzhiganov in SDS и Кластерные FS
ivdok
За логи в публично доступной папке вроде /var/www надо давать по башке, с занесением в личное дело. Как и за менеджмент-панель без VPN.
+
источник

SA

Slava Anzhiganov in SDS и Кластерные FS
ivdok
За логи в публично доступной папке вроде /var/www надо давать по башке, с занесением в личное дело. Как и за менеджмент-панель без VPN.
на публичных клаудах это типа стандарт ))
источник

NS

Nik Sh in SDS и Кластерные FS
Slava Anzhiganov
логи не должны лежать рядом со скриптами
А еще кодеры должны писать софт без багов, ага. Но в суровом продакшене и не такое бывает.Программисты писать в корень отладочные логи не будут только тогда, когда для этого у них не будет прав.
источник

NS

Nik Sh in SDS и Кластерные FS
ivdok
За логи в публично доступной папке вроде /var/www надо давать по башке, с занесением в личное дело. Как и за менеджмент-панель без VPN.
Что поделать, если большинство кодеров не слышала про разделение данных и статистики. (Да и вообще в последнее время все чаще сталкиваюсь с кодерами, которые не понимают как работает ПК и интернет, а при этом мнят себя синьерами.)
источник

i

ivdok in SDS и Кластерные FS
Nik Sh
А еще кодеры должны писать софт без багов, ага. Но в суровом продакшене и не такое бывает.Программисты писать в корень отладочные логи не будут только тогда, когда для этого у них не будет прав.
Это уже выходит за тематику чата. Но. Чтобы было понятно для кодеров, объяви им переменные $WebStaticContent и $WebInternals, первая содержит /var/www, и в ней весь контент, который должен быть доступен снаружи и его утечка не несёт потерь для бизнеса. root web-сервера залочен на неё. Вторая смотрит, например, в /srv/MyOhuitelnyProject/git-l32h5kjfn3252l34jl2k34/master, и принадлежит www-data, чтобы были права на чтение/запись бэком. Все логи/аналитику писать в $WebInternals, даже если очень хочется "по бырому дёрнуть логи через браузер". В таком случае расскажи про tail и его замечательный флаг -f, или повесить внутри локалки второй веб-сервер с хотя бы basic-авторизацией.
источник

NS

Nik Sh in SDS и Кластерные FS
ivdok
Это уже выходит за тематику чата. Но. Чтобы было понятно для кодеров, объяви им переменные $WebStaticContent и $WebInternals, первая содержит /var/www, и в ней весь контент, который должен быть доступен снаружи и его утечка не несёт потерь для бизнеса. root web-сервера залочен на неё. Вторая смотрит, например, в /srv/MyOhuitelnyProject/git-l32h5kjfn3252l34jl2k34/master, и принадлежит www-data, чтобы были права на чтение/запись бэком. Все логи/аналитику писать в $WebInternals, даже если очень хочется "по бырому дёрнуть логи через браузер". В таком случае расскажи про tail и его замечательный флаг -f, или повесить внутри локалки второй веб-сервер с хотя бы basic-авторизацией.
Это все хорошо работает когда ты с кодерами в одной комманде, а когда они от "заказчика" то просто пошлют твои рекоммендации лесом - им деньги за бизнес логику платят а не за "правильность" написания или разделения данных. Но в целом - да, у меня есть похожий алгоритм для тех, что совсем не понимают или для явно уязвимых приложений. Только там основная логика в разеделении юзера выполнения кода и юзера которому данный код принадлежит с правильной расстановкой прав и запрещающих правил на веб-сервере.
источник

i

ivdok in SDS и Кластерные FS
Nik Sh
Это все хорошо работает когда ты с кодерами в одной комманде, а когда они от "заказчика" то просто пошлют твои рекоммендации лесом - им деньги за бизнес логику платят а не за "правильность" написания или разделения данных. Но в целом - да, у меня есть похожий алгоритм для тех, что совсем не понимают или для явно уязвимых приложений. Только там основная логика в разеделении юзера выполнения кода и юзера которому данный код принадлежит с правильной расстановкой прав и запрещающих правил на веб-сервере.
Случайно не финтех? По-моему только там такие непрошибаемые кадры встречаются, одновременно с админресурсом, чтобы держаться за такуб точку мировоззрения
источник

NS

Nik Sh in SDS и Кластерные FS
ivdok
Случайно не финтех? По-моему только там такие непрошибаемые кадры встречаются, одновременно с админресурсом, чтобы держаться за такуб точку мировоззрения
нет, Bitrixoidus Vulgaris
источник

i

ivdok in SDS и Кластерные FS
Nik Sh
нет, Bitrixoidus Vulgaris
А, ну этих даже расстрел не исправит, даже само ядро хранит бэкапы сайта в паблике
источник

SA

Slava Anzhiganov in SDS и Кластерные FS
Nik Sh
Что поделать, если большинство кодеров не слышала про разделение данных и статистики. (Да и вообще в последнее время все чаще сталкиваюсь с кодерами, которые не понимают как работает ПК и интернет, а при этом мнят себя синьерами.)
повышать уровень осведомлëнности, делиться опытом, иначе никак
источник
2021 January 12

M

Murmuring in SDS и Кластерные FS
Добрый всем день! Кто какие протоколы использует для агрегации портов? Настроил LACP, но он не удваивает пропускную способность, если идёт 1 поток данных.
источник

M

Mistique in SDS и Кластерные FS
Murmuring
Добрый всем день! Кто какие протоколы использует для агрегации портов? Настроил LACP, но он не удваивает пропускную способность, если идёт 1 поток данных.
Какие щас то аплинки?
источник