با این حال، پس از اینکه تاونسند در سال ۱۹۵۲ از همسرش طلاق گرفت، شایعاتی درباره او و مارگارت پخش شد؛ طلاق و اندوه مشترک ناشی از مرگ تقریباً همزمان پادشاه، احتمالاً به آنها کمک کرد تا در حریم خصوصی کلارنس هاوس، جایی که پرنسس آپارتمان شخصی خود را داشت، به هم نزدیکتر شوند.