يعود الفضل إلى جيمس ماديسون في فكرة إنشاء مكتبة للكونجرس، حيث قدم مثل هذا الاقتراح لأول مرة في عام 1783.