t.test - вы сравниваете разницу между средними групп с нулем. При регрессии. Группы - это дамми-переменная. Коэффициент при дамми - это разница между средними в двух группах. Значимость этого коэффициента - это насколько он отличается от нуля. То есть все то же самое, что и т-тест