Es en el castillo, actualmente rehabilitado como Parador de Turismo, donde un siglo más tarde D. Juan Manuel escribiría buena parte de su obra. Fue precisamente durante el dominio de éste y el posterior de los marqueses de Villena cuando la villa alcanzó su mayor grandeza.

La planta del castillo es árabe, la traza triangular del patio queda cerrada en un lado por la Torre del Homenaje, de grandes dimensiones, coronada por una barbacana renacentista; los otros dos lados los componen unas airosas balconadas y dos espacios con arcos fajones apuntados y techo de viguería de madera.

A finales del siglo XII, acogió la corte de Alfonso VIII en 1211, un año antes de partir hacía la Batalla de las Navas de Tolosa (1212). Perteneció a Don Juan Manuel (ss. XIII y XIV) y a los Marqueses de Villena (SS. XV-XIX), estos últimos defenderán desde él, a Juana la Beltraneja como reina de Castilla en oposición a Isabel la Católica.

En el año 1966 se abrió al público como Parador de Turismo, lo que ha supuesto que siga conservándose en excelentes condiciones.