Construido en la segunda mitad del siglo XV, el castillo tiene una planta rectangular con torres circulares en tres esquinas coronadas con matacanes, y en un cuarta esquina lo que se ha recuperado de lo que sería en su día el torreón del homenaje, presenta un pequeño foso en la entrada, y algunos restos del recinto exterior.Muestra a lo largo de sus muros blasones decorativos con el motivo de la flor de lis de los Cartagena.
A raíz de la invasión francesa, los guerrilleros Santos Padilla y Melchor Cossio, prendieron fuego al castillo el 22 de Julio de 1812, al saber de la simpatía por la causa francesa, de algunas familias pudientes de la zona.
A lo largo de su existencia, el Castillo a pertenecido originariamente a los Cartagena (s.XV y XVI), después a los vizcondes de Valoria (s.XVII y XVIII), duques de Gor (s.XiX), en el siglo XX fue propiedad del conde Arteche y la familia San José, la cual decide restaurarlo salvandolo de su desaparición debido a su progresivo deterioro, tras restaurarlo deciden abrirlo al público, y ya en el año 2003 lo adquiere el grupo Turconsa y tras dos años más de trabajos, se inaugura como Hotel de cuatro estrellas, restaurante y cafetería.
![Imagen](http://s17.postimage.org/ikm5ydlu3/OLMILLOS_DE_SASAM_N_1.jpg)
![Imagen](http://s17.postimage.org/iofzemrbf/OLMILLOS_DE_SASAMON.jpg)
![Imagen](http://s17.postimage.org/vxpb0zqob/OLMILLOS_DE_SASAM_N.jpg)
![Imagen](http://s17.postimage.org/djerx0edn/castillo_1.jpg)