VK
ты же про rsyncd ?
про
rsync --daemonSize: a a a
2020 May 12
PK
Всем два раза ку! Ребят, а кто чем алертит из кибаны по событиям из логов, если денег на watcher не дают?
KN
rsync же может в режиме демона работать, тогда близко к мгновенному будет
можно еще попробовать lsyncd заюзать
VK
У rsync очень много времени занимает "а давай проверим, что у меня тут и у него там, вдруг разница". Когда одна из сторон постоянно запущенна, этот процесс занимает очень мало времени. Особенно, если попросить не пересчитывать контрольные суммы у старых файлов
D
VK
Плюс если всё в локалке, можно rsync попросить не использовать шифрование и сжатие при передаче. Еще немножк можно выиграть
D
сейчас запускаю
rsync --archive --delete --recursive --partial --progress \про контрольные суммы хорошая идея. но дело в том, что некоторые файлы меняются. имя файла остается тоже. но размер сильно уменьшается, после прохода оптимизатора
--info=progress2
D
Плюс если всё в локалке, можно rsync попросить не использовать шифрование и сжатие при передаче. Еще немножк можно выиграть
разные ДЦ
VK
сейчас запускаю
rsync --archive --delete --recursive --partial --progress \про контрольные суммы хорошая идея. но дело в том, что некоторые файлы меняются. имя файла остается тоже. но размер сильно уменьшается, после прохода оптимизатора
--info=progress2
он умеет "если время/размер изменился - пересчитать"
KN
D
оу. и правда
--checksum skip based on checksum, not mod-time & size
VK
оу. и правда
--checksum skip based on checksum, not mod-time & size
это как раз ты выключаешь проверку по времени и размеру и заставляешь пересчитывать чексуммы для файлов
D
это как раз ты выключаешь проверку по времени и размеру и заставляешь пересчитывать чексуммы для файлов
ага, точно, еще не проснулся видимо…
VK
(перечитал еще раз) но вообще 15 минут для 600Гб - имхо вполне норм
D
(перечитал еще раз) но вообще 15 минут для 600Гб - имхо вполне норм
Понял, но всё равно благодарю за идею про --daemon и про компрессию. Пошел немного допилю и будет отлично.
D
Была у меня подобная история. Переписала на питон. Multiprocessing + rsync(вернее не помню как модуль назывался для питона). Если грамотно подобрать количество процессов для копирования, то можн больше чем в 2 раза ускорить)))
Кажется нашел о чём ты, спасибо, посмотрю и этот метод.
C
Кажется нашел о чём ты, спасибо, посмотрю и этот метод.
Если есть менее трудозатратные методы, то лучш их)
AM
Всем привет, подскажите альтернативные решения по такой задаче https://stackoverflow.com/questions/8762513/auto-committing-git-submodule-hash-in-super-project
через hook post-commit настраивал
через hook post-commit настраивал
git --git-dir="$PWD"/.git --work-tree="$PWD" add .но поведение странное, либо удаляет все в основном проекте, и не коммитит хэш подмодуля, либо если чуть изменить скрипт, то происходит зацикливание коммита
d
Может кто подсказать как на линуху netcore2 и netcore3 поставить одновременно и запускалась нужная версия по параметру csproj <TargetFramework>netcoreapp2.2</TargetFramework>
d
либо другому параметру файла csproj