El aspecto actual se debe a las obras de renovación de la 1ª/m. s. XX en un estilo neohistórico/modernista. Originariamente se trataba de dos edificios unidos en uno sólo a través de su estructura horizontal, levantando en sus extremos dos elevadas torres cuadradas. El edificio de la derecha, cuya torre fue demolida en 1913, sería el más antiguo y perteneció a la familia Monroy, desde el S.XIII al S.XV, cuando la ciudad fue cedida por el Rey Juan II a los Zúñiga y la casa vendida a los Carvajales. A partir de estos momentos será solar de los Carvajales, verdaderos detentadores del poder municipal, que la acondicionarán a los nuevos valores de estética de la oligarquía urbana, realizando mejoras como la solana renacentista del lado meridional con capiteles historiados de singular iconografía. Entre sus paredes vivieron o se hospedaron personajes como María de Monroy ("la Brava”); el rey Fernando el Católico, San Pedro de Alcántara y el que fuera cardenal Bernardino de Carvajal.