Да, скорее всего тут ошибка в том, что этого символа нет в системных шрифтах.
То есть сначала проверяются те шрифты, которые ты указал в браузере. Если там нет этого символа, то браузер обращается уже к шрифтам на твоем компе. Если их и там нет, то показывает этот квадрат