En 1597 asumió la titularidad del señorío Francisco Gómez de Sandoval y Rojas, Duque de Lerma y favorito del rey Felipe III, al que atrajo en distintas ocasiones a la villa, convirtiéndose el castillo en sede ocasional de la Corte española. A partir de entonces el castillo entrará en un largo período de abandono, lo que no obstó a su declaración como Monumento Histórico-Artístico Nacional en 1931. En 1960 el empresario galletero Eugenio Fontaneda Pérez, natural de Aguilar de Campoo, lo adquirió a su penúltima dueña, la condesa de la Granja, y lo acondicionó como museo para su colección de objetos de arte y antigüedades procedentes de la cuenca del Duero.
-Ejemplo temprano de castillo-palacio señorial castellano, es una joya de la arquitectura civil de la región y presenta un magnífico estado después de la cuidadosa restauración acometida en los años sesenta por Eugenio Fontaneda. La edificación tiene planta trapezoidal, posee torreones en los ángulos, correspondiendo el del sudoeste a la torre del Homenaje, y foso salvado mediante puente levadizo. Está rodeado por un muro de barbacana con torres cilíndricas. La fachada está decorada con dos escaraguaitas o garitas ornamentales y en la puerta principal cuelga el escudo del Duque de Lerma. El Patio de Armas tiene tres pandas porticadas de tres pisos con arquería escarzana, siendo el piso superior de más exiguas proporciones.
-..- fotos by blackhttps://www.youtube.com/watch?v=yweXuB9TjbE
Bienaventurados los cortos de vista porque no podran ver mi careto de lejos. 