Il 19 luglio 1808, dopo la vittoria nella battaglia di Bailén, l'esercito del generale spagnolo Castaños fece prigionieri migliaia di soldati napoleonici. I francesi furono concentrati nella città di Sanlúcar, con la promessa di essere rimpatriati, ma il governatore di Cadice non stette agli accordi e li imbarcò con destinazione Baleari.

Per un numero imprecisato di militari e civili, tra cui donne e soldati di diversi paesi europei al servizio di Napoleone, la sorte fu durissima; i prigionieri furono sbarcati nella piccola isola di Cabrera, a sud di Mallorca, oggi oasi naturalistica protetta, ma anche a quel tempo incapace di offrire cibo ed acqua per tutti.

Il convoglio era partito da Cadice alla fine di aprile del 1809 e già in mare la dissenteria ed il sovraffollamento avevano provocato le prime morti. La vita, dopo lo sbarco nell'isola disabitata, si andò lentamente organizzando; furono costruite capanne ed anche una piazza chiamata Palais-Royal in cui avvenivano scambi di alimenti e di vestiti. Su richiesta degli ufficiali napoleonici, giunse anche un prete a dir messa ed a benedire le salme che ogni giorno si facevano più numerose.

Ma la situazione per i prigionieri si fece sempre più precaria; finita l'estate, le condizioni climatiche peggiorarono. Gli ufficiali, ad eccezione di uno che volle restare tra i suoi soldati, furono trasferiti nella comoda sistemazione di Palma de Mallorca, mentre molti soldati si provocarono mutilazioni per essere ricoverati in ospedale.

I prigionieri si organizzarono politicamente, eleggendo una specie di Consiglio municipale che manteneva l'ordine anche con metodi drastici, come la condanna a morte in caso di antropofagia, pratica piuttosto diffusa dopo che le autorità spagnole smisero di sbarcare pane, le poche capre che davano il nome all'isola scomparvero e la debolezza impediva di raggiungere a nuoto il vicino isolotto di Conejera per cacciare conigli selvatici. Praticamente, al quinto anno di prigionia gli isolani si erano ridotti a cibarsi di erbe selvatiche, insetti e qualche pesce.

Nel 1810 ci furono anche un tentativo di evasione; sessanta prigionieri riuscirono ad appropriarsi del battello che portava gli scarsi viveri,ma la grossa scialuppa fu cannoneggiata e dei sessanta nessuno rimase in vita. Dopo il forzato ritorno di tutti gli ufficiali da Palma, quaranta di loro tentarono la fuga, ma la loro sorte non fu migliore di quella dei sessanta compagni di prigionia. Miglior sorte la ebbero più tardi alcuni che riuscirono a raggiungere la Berberia ed altri che tornarono in Francia.

Per cinque anni sembrò che le autorità spagnole si fossero completamente dimenticate di quei prigionieri, ma nonostante le migliaia di morti, la vita sull'isola aveva una parvenza di socialità, con commerci improvvisati, anche di donne, con marinai inglesi di passaggio ed addirittura con rappresentazioni teatrali.

Nonostante che il contingente dei prigionieri fosse stato successivamente rimpolpato con circa mille e cinquecento prigionieri giunti da Alicante, al momento del rimpatrio, il 16 maggio 1814, ne restavano in vita solo poco più di tremila. Approssimativamente erano morti tre prigionieri su quattro.L'isola rimase seminata da migliaia di ossa e dalle iscrizioni che i prigionieri lasciarono sulle rocce.