El Palacio de Gastañaga está en la confluencia de la calle Mayor y la plaza de Santa Ana.
Data del siglo XIV XV y está situado junto a la antigua puerta de San Nicolás que custodiaba el gremio de mareantes.
El palacio de Gastañaga sirvió como parte de la muralla defensiva de la época. En el suelo puedes observar unas baldosas negras que indican por dónde iba la muralla y dónde comenzaba la puerta de San Nicolás.
Cuya llave de la puerta, la tenía el mayordomo de la Cofradía de Pescadores.
Observando el edificio puedes ver un pasaje aéreo que tiene comunicación a otra casa, dicha casa era la de los sirvientes y dónde estaba el establo.
Fuera de las murallas de la Villa.En la fachada aún se conserva los arcos de medio punto primitivos que están distribuidos de forma irregular.En la parte noble del palacio se observa un escudo familiar que se labró en arenisca.