La casa torre de épocas remotas fue sustituida por un palacio moderno que más tarde sería incendiado en las revueltas de 1718. Quizás la entrada exterior al sótano sea un recuerdo de la construcción del XVI, si bien algunos elementos de este edificio decimonónico, como su cornisa, recuerdan precisamente al edificio primigenio.
El edificio fue elegido por el Conde de Peñaflorida como su residencia, al tiempo que desempeñaba su labor como director del Real Seminario. Y en él encontró refugió otro ilustrado de renombre, Valentín Foronda.
Sin embargo, el palacio actual es del siglo XIX. En su interior prima la luminosidad y se distribuye en espacios tan amplios como acogedores por doquier. En su parte central contemplamos una extraordinaria escalera.
En las inmediaciones del palacio encontramos una de las joyas que conserva Bergara: el jardín del siglo XIX, en el que confluyen naturaleza y ciencia.
La vegetación y los árboles se distribuyen de forma muy planificada. Así mismo, tanto la casa como el jardín cuentan con un sistema de agua de lo más refinado. Reflejo aplicado, puede ser, de las investigaciones del Seminario.