في السنوات الثلاث التالية، تزوجت شقيقاته الأربع من أمراء ألمان وانتقلوا إلى ألمانيا، وتم تشخيص والدته بمرض انفصام الشخصية ووضعها في مصحة، وأقام والده في مونت كارلو. كان فيليب على اتصال قليل مع والدته خلال الفترة المتبقية من طفولته.