अगले तीन वर्षों में, उनकी चार बहनों ने जर्मन राजकुमारों से शादी की और जर्मनी चली गईं, उनकी माँ को सिज़ोफ्रेनिया का निदान हुआ और उन्हें एक पागलखाने में रखा गया, और उनके पिता मोंटे कार्लो में रहने लगे।
फिलिप का अपने बचपन के शेष समय में अपनी माँ के साथ बहुत कम संपर्क रहा।