في عام 1865، دمر مبنى سميثسونيان، الذي يُطلق عليه أيضًا القلعة بسبب طرازه المعماري النورماندي، بالنيران وأعطى هنري فرصة فيما يتعلق بمكتبة سميثسونيان غير العلمية.
في هذا الوقت تقريبًا، كانت مكتبة الكونغرس تضع خططًا لبناء مبنى توماس جيفرسون الجديد والانتقال إليه، والذي سيكون مقاومًا للحريق.
