Уже через полтора года после его рождения семье пришлось бежать из страны. Отца семейства принца Андрея на родине преследовали за неповиновение приказам командования во время Второй греко-турецкой войны, в ходе которой Греция потерпела поражение. Принца вместе с остальной семьей вывезли из страны на лодке. Полуторагодовалого Филиппа, по его рассказам, везли в ящике из-под апельсинов.
У мальчика в детстве не было не только родителей, но и постоянной школы. В Париже он посещал американскую школу, потом его отправили учиться в Англию в частную Cheam School, затем в начале 30-х его перевезли в Германию — в школу известного деятеля просвещения и визионера Курта Хана, который был близким знакомым кого-то из Филипповой родни.
Однако очень скоро Курт Хан, еврей по происхождению, был вынужден бежать из Германии. И направился он не куда-нибудь, а в Шотландию, где основал новую школу — Гордонстоун. Филипп отправился туда вместе с ним.