Do Castelo de San Sebastián soamente quedan os muros do lado norte, con dúas garitas porque un baluarte e dous medios baluartes que se conservaban foron derribados para construír sobre eles o palacio Consistorial. Foi construído sobre un montículo, na parte de abaixo do Castro, onde se cerraba o recinto balaustrado que compoñía as defensas da praza militar viguesa. Foi edificado no século XVII polos enxeñeiros militares, Juan Villarroel y Prado e os irmáns Carlos e Fernando de Grunemberg. Os motivos da súa construción estiveron na necesidade de defensa da cidade de Vigo ante os piratas ingleses, aliados dos portugueses na Guerra da Restauración de Portugal (1640-1668).