La Ciudad Vieja de Tossa de Mar estar compuesta por una serie de callejuelas empedradas dentro de su recinto amurallado, el cual fue declarado en 1931 Monumento Histórico-Artístico Nacional.
Dentro de la Ciudad Vieja se encuentra el Castillo que fue construido en 1387 por el abad Ramón Dezcatlar.
Los acontecimientos más importantes acontecidos en este castillo a lo largo de su historia son los intentos de incursiones piratas, sin éxito alguno, y en el siglo XIX la guerra de la Independencia que enfrentó al pueblo español contra las tropas francesas.
En 1950 en el interior de esta fortaleza se ródó Pandora y el holandés errante con Ava Gardner y James Mason
y eso le dio cierta fama al pueblo. En la película la localidad fue bautizada como Esperanza.