הנרי בנט בנה את בית ארלינגטון באתר
כאשר גורינג חסר האחריות לא עמד בתשלומי השכירות שלו, הנרי בנט, הרוזן הראשון מארלינגטון, הצליח לרכוש את חוזה השכירות של בית גורינג והוא התגורר בו כאשר נשרף בשנת 1674, ולאחר מכן בנה את בית ארלינגטון באתר - המיקום של האגף הדרומי של הארמון כיום - בשנה שלאחר מכן. בשנת 1698, ג'ון שפילד, לימים הדוכס הראשון מבאקינגהאם ונורמנבי, רכש את חוזה השכירות.
