H
chmod o+x /var/home/ivantretyak
вместо всего, что ты выполнял выше (права на чтение хомяка группой и добавление юзера transmission в группу не требовались)Можно еще было через posix acl точечно выдать примерно так
setfacl -m u:transmission:x /var/home/ivantretyak