Von der einstigen Burg Castelo de San Sebastián sind nur noch die Mauern an der Nordseite mit zwei Torwachen erhalten, nachdem das Bollwerk und zwei halbe noch erhaltene Bollwerke abgerissen wurden, um den Stadtpalast über ihnen zu errichten. Sie wurde auf einem Hügel im unteren Teil von O Castro erbaut, wo sich das Festungsgelände schloss, das die Wehreinrichtungen des Waffenplatzes von Vigo ausmachte. Ihr Bau im 17. Jh. ist den Militäringenieuren Juan Villarroel y Prado und den Gebrüdern Carlos und Fernando de Grunemberg zu verdanken. Sie sollte die Stadt Vigo gegen die englischen Piraten schützen, die im portugiesischen Restaurationskrieg (1640-1668) auf der Seite Portugals kämpften.