Poco después, los Freiherr von Strättligen se establecieron en el castillo. Partes de las murallas y la torre principal actuales fueron construidas durante el siglo XII, y para el siglo XIII la ciudad de Spiez ya existía fuera de las murallas del castillo.