ترملت فيكتوريا في عام 1861 ، وانسحبت الملكة المنكوبة من الحياة العامة وغادرت قصر باكنغهام لتعيش في قلعة وندسور وقلعة بالمورال ومنزل أوزبورن. لسنوات عديدة نادرا ما تم استخدام القصر ، حتى تم إهماله.
