La silhouette de la maison du corsaire domine la pointe Ouest de l'île.

Ce bâtiment est un ancien corps de garde, édifié en 1711 pour le service des douaniers et le logement des desservants des batteries dans les périodes d'hostilités.

La construction est entièrement faite de pierres et sans charpente. En effet, le bois était rare sur le littoral et les corps de garde n'étaient utilisés que très épisodiquement. Afin d'éviter le vol du bois de charpente par les populations locales, mais aussi de limiter l'entretien, l'administration royale a décidé sous Louis XIV de construire les corps de garde avec des voutes et toitures en pierres. Les douaniers se déplaçaient donc avec les volets, portes et meubles nécessaires à leur logement dans l'un des nombreux corps de garde édifiés tout au long du littoral.

Un célèbre corsaire dieppois aux origines portugaises, Antonio Balidar, aurait utilisé ce corps de garde comme escale lors de ses campagnes de chasse aux navires anglais pendant la période de la Révolution puis de l'Empire. 

En contrebas de la maison du corsaire, sur la pointe Sud, se dressent les vestiges d'un ancien fort édifié sous Napoléon III. Lors de leur départ de l'île, en 1944, les troupes allemandes firent sauter le dépôt de munitions qui y était entreposé, détruisant ainsi l'édifice.