Poté, co se Townsend v roce 1952 rozvedl se svou ženou, se však začaly šířit zvěsti o něm a Margaret; rozvod a společný zármutek nad téměř současnou smrtí krále jim pravděpodobně pomohly sblížit se v soukromí Clarence House, kde měla princezna svůj vlastní byt.
