Construído em 1822 para defender a Baía de Paraty, o Forte Defensor Perpétuo tem vista privilegiada para a cidade. O local, no Morro da Vila Velha, abrigou o primeiro povoado de Paraty, antes de a cidade descer para onde hoje está o Centro Histórico.
O Forte protegeu a cidade em meio ao processo de independência do Brasil. Hoje o prédio preserva áreas como a Casa do Comandante, a ala do Quartel da Tropa e o Quartel dos Inferiores. O local abriga também um pequeno museu com peças que remontam a história da cidade, como armamentos de guerra, artefatos caiçaras e peças que remontam ao período escravocrata. A grande atração, entretanto, é a linda vista e o acesso ao mar, de onde se pode curtir o visual da Baía.