Абсолютно верно вам подсказали. Нельзя инпуты обрабатывать в фиксед апдейте. Во первых, потому что юнити инпуты обрабатывает после фиксед апдейта. Во вторых, потому что фиксед апдейт живет в своем цикле и его тик, в зависимости от фпс, может вообще не попасть в кадр, а может несколько раз. Инпуты надо обрабатывать в апдейте. Неоднократно уже скидывал, но тем не менее. Внизу есь блок-схема кадра.
https://docs.unity3d.com/ru/current/Manual/ExecutionOrder.html