في 16 أكتوبر 1834، اندلع حريق في القصر بعد أن أشعل موقد محموم لتدمير مخزون الخزانة من عصي الفرز النيران في غرفة مجلس اللوردات. في الحريق الناجم عن ذلك، تم تدمير كلا مجلسي البرلمان، إلى جانب معظم المباني الأخرى في مجمع القصر. تم إنقاذ ويستمينستر هول بفضل جهود مكافحة الحرائق والتغيير في اتجاه الريح. كان برج الجوهرة، وكنيسة أندركروفت الصغيرة والأديرة والفصل هاوس في سانت ستيفن الأجزاء الأخرى الوحيدة من القصر التي بقيت على قيد الحياة.
أكبر وأطول برج يبلغ ارتفاعه 98.5 مترًا (323 قدمًا) برج فيكتوريا، ويحتل الزاوية الجنوبية الغربية للقصر. أُطلق عليه في الأصل اسم "برج الملك" لأن حريق عام 1834 الذي دمر قصر وستمنستر القديم وقع في عهد الملك ويليام الرابع، وكان البرج جزءًا لا يتجزأ من تصميم باري الأصلي، والذي كان ينوي أن يكون العنصر الأكثر تميزًا. تصور المهندس المعماري البرج المربع الكبير على أنه حافظة لـ "قلعة" تشريعية (مرددًا اختياره للبورت كوليس كعلامة مميزة له في مسابقة التخطيط)، واستخدمه كمدخل ملكي للقصر وكمخزن مقاوم للحريق لـ أرشيفات البرلمان. أعيد تصميم برج فيكتوريا عدة مرات، وزاد ارتفاعه تدريجياً ؛ عند اكتماله في عام 1858، كان أطول مبنى علماني في العالم.