Este excepcional marco tiene hoy el aspecto de un edificio que sigue la inspiración historicista del siglo XIX. Las dos torres con almenas que sobresalen sobre el muro y los árboles del recinto se levantaron partiendo de una de las cuatro torres primitivas. Ambas están unidas por un cuerpo central con altura muy inferior. Las paredes se interrumpen con ventanas ojivales y balcones, y desde ellas pueden apreciarse magníficas vistas de Caces, y del río que lo rodea.
Para poner freno a los abusos a los que los señores del castillo sometían a la población de los alrededores, Fernando IV dio orden en 1306 de que fuera arrasado. Felizmente, su mandato no se llevó a cabo y en el siglo XV la fortificación y sus dependencias comenzaron a utilizarse como casa de recreo de los obispos de Oviedo.
Al solariego recinto no le falta ni una dramática leyenda romántica. Se trata del amor imposible entre Irene, la hija del señor del castillo, y uno de sus pajes, Pablo. Cuando el padre de la doncella conoció la relación entre ambos se enfrentó al muchacho y éste, durante la pelea, mató al padre de su amante. Cuando ella lo descubrió renegó de Pablo y lo maldijo, y el joven, enamorado y enloquecido, ya no quiso vivir, se arrojó al río y al caer se golpeó con una piedra. Hay incluso quien atribuye el color rojizo de la piedra a la sangre de las heridas de Pablo, que ha permanecido indeleble a través de los siglos.
