Однак після того, як Таунсенд розлучився з дружиною в 1952 році, поширилися чутки про нього та Маргарет; розлучення та спільна скорбота через майже одночасну смерть короля, ймовірно, допомогли їм зблизитися в приватності Кларенс-хаусу, де принцеса мала власні апартаменти.