Sonraki üç yıl içinde dört kız kardeşi Alman prenslerle evlenip Almanya'ya taşındı, annesine şizofreni teşhisi konuldu ve bir akıl hastanesine yatırıldı, babası ise Monte Carlo'ya yerleşti.
Philip, çocukluğunun geri kalanında annesiyle çok az iletişim kurdu.
