Se levanta sobre las "casas grandes” del mayorazgo de la familia Carvajal. La construcción inacabada que hoy conocemos parte de los tiempos de Diego González de Carvajal y Constanza de Girón Loaisa (s. XVI), así como de su hijo Pedro de Carvajal, obispo de Coria (a. 1604 a 1621), enterrado en la iglesia de San Nicolás en su propia capilla mausoleo y con estatua orante. 

En el edificio sobresale el equilibrio y la armonía arquitectónica de su fachada, por la que se accede a un amplísimo zaguán y desde este a un patio porticado inconcluso. La regularización de la plaza frente a la casa es consecuencia de la compra y demolición de unos solares a costa de la familia  Ansano Carvajal  (s. XVIII).