Так, тогда ещё один вопрос: этот лог предназначен для чтения и парсинга машиной? Или только человеком?

Потому что давай взглянем, например, на Redis:
https://redis.io/topics/protocol

А давайте глядеть на бинарные логи от WAS? И ПЛАКАТЬ!

Тут, вот неожиданность, есть абсолютно чётко выраженные длины сообщений в тех случаях, где это необходимо. Базовым разделителем является \r\n (чтобы не совокупляться с длиной каждый раз), но если принимаемый тип — строка, то там точно указана длина. Чтобы было понятно, сколько ещё принять от этой строки, и где закончилось сообщение. Redis предназначен для поддержания соединения неограниченно долго, и в него даже можно загнать десяток сконкатенированных запросов, и получить такой же десяток сконкатенированных ответов (пайплайн).

И эта магия сделана как раз благодаря тому, что местный протокол совершенно точно и однозначно разделяет tcp-поток на отдельные сущности, вплоть до вложенных.

Можно ещё посмотреть на магию с HttpChunked.
Ты только посмотри, как люди изгаляются, только для того чтобы узнать, где сообщение заканчивается.
https://ru.wikipedia.org/wiki/Chunked_transfer_encoding

Потому что иначе это просто не сделать.

Хороший вопрос. Это ДОЛЖНА читать машина (слишком высокий eps для чтения человеком), но имеем то, что имеем.

Да, если посмотреть на диалог того же smtp клиента, мы тоже увидим, что все сообщения разделены, и однозначно идентифицируются даже, когда у нас идёт приём нескольких сообщений в одном.
Но факт - не все разработчики так делают. Хотя было бы здорово, если бы делали.

Redis - один из примеров хорошей работы с tcp потоком. А с ними редко возникают проблемы)

Нене, eps — это не повод для чтения машиной. У меня на работе где-то 4000 логирующих сообщения в секунду (на луёвом TCP, кек), и оно предназначено для человека, который сделает запрос по базе. Все логи парсятся.

Человек просто увидит что где проблема, сделает запрос по ID и получит логи которые можно прочитать. Остальное можно будет удалить.

Ок, тут речь о 25к в фоне

Всё равно фигня.

Регулярки и вперёд.

Логи парятся - это признак чтения машиной, нет?))

Нет.

Регулярки по текстовом файлу без конца?

Это человек может составить регулярку чтобы найти конкретный кусочек.

Почему без конца?

Это плохое решение.

Кому-то может быть норм.