Теги вынести в отдельную таблицу, делать связь m2m с задачей. Можно конечно достать всех пользователей кто использовал данный тег через задачу, но это очень не эффективно, например когда пользователь решил удалить тег. Сделать еще 1 таблицу в которой бы хранился индивидуальный набор тегов для конкретного пользователя, и он бы манипулировал бы уже им, и все это ради того чтобы не повторялись теги в базе