De O Castelo de San Sebastián solamente quedan los muros del lado norte, con dos garitas porque un baluarte y dos medios baluartes que se conservaban fueron derribados para construir sobre ellos el palacio Consistorial. Fue construido sobre un montículo, en la parte de abajo de O Castro, en donde se cerraba el recinto abalaustrado que componía las defensas de la plaza militar viguesa. Fue construido en el siglo XVII por los ingenieros militares, Juan Villarroel y Prado y los hermanos Carlos y Fernando de Grunemberg. Los motivos de su construcción estuvieron en la necesidad de defensa de la ciudad de Vigo ante los piratas ingleses, aliados de los portugueses en la Guerra de la Restauración de Portugal (1640-1668).