Kurz darauf liessen sich die Freiherren von Strättligen auf dem Schloss nieder. Teile der heutigen Schildmauern und des Hauptturms wurden im 12. Jahrhundert errichtet, und bis zum 13. Jahrhundert existierte die Stadt Spiez ausserhalb der Schlossmauern.