Cardelan fut certainement fortifié comme le révèlent les murs d’enceinte particulièrement hauts, percés de meurtrières. Peut-être existait-il un chemin de ronde et un corps de garde près du portail. Un document révèle que des canons y étaient présents, au moins quatre. Ils devaient être pointés vers la baie de Cardelan.
Le château a été démantelé progressivement après la disparition de son dernier seigneur. Des matériaux prélevés auraient servi à l'édification d'autres constructions, en particulier à Larmor-Baden.
Si l’enceinte est assez bien conservée, il ne subsiste du château que des ruines des logis seigneuriaux. A sa place s’élèvent un manoir, une grange, des annexes, propriétés privées, provenant de la restauration d’anciens bâtiments. De l’enceinte de ce que fut le château persistent de nos jours plusieurs pans de murs bien conservés.
BADEN, ENTRE TERRE ET MER