Однако после того, как Таунсенд развелся со своей женой в 1952 году, поползли слухи о нем и Маргарет; развод и общее горе из-за почти одновременной смерти короля, вероятно, помогли им сблизиться в уединении Кларенс-хауса, где у принцессы была собственная квартира.