А если один поток пытается обратиться к полям объекта, которые не используются в другом потоке, правильно я понимаю, что нет смысла синхронизировать?
Если никогда не используются - да.
Если когда-то используются - удачи угадывать, когда используется, когда нет.