Gustav III ville att Sverige skulle ha kolonier. Han var på många ställen i världen för att förhandla till sig en koloni till Sverige. Nederländerna tillfrågades om de ville avstå från en ö i Ostindien men de höll hårt i sina landbitar. Gustav III förhandlade främst om Tobago i Västindien men även andra öar som St. Lucia, St. Vincent och Dominica kom på tal. Förhandlingarna om Puerto Rico, som var spanskt, såg väldigt lovande ut under många år. Gustav III hade kontakt med en agent, Andrew Orr, som lurades och sa att spanjorerna var villiga att släppa ön till Sverige. Men när man pratade med den spanska kronan var dessa uppgifter som herr Orr hade lämnat till Gustav III falska. Dessa förhandlingar som hölls från 1774 till 1778 rann ut i sanden. Till sist fick Gustav III sin dröm uppfylld när den franske kungen Ludvig XVI gick med på att få handelsrättigheter i Göteborg mot att Frankrike lämnade ön St. Barthélemy ifrån sig. Detta hände i juli 1784 och de första svenskarna kom till St. Barth i början av 1785.

St. Barth har bra vikar som sjörövare och pirater betraktade som perfekta gömställen. Det sägs att piraterna var snälla mot de fattiga på ön. De betalade för maten de åt.

De första svenska ämbetsmännen utsågs 1784. Till guvernör utsågs major Salomon Mauritz von Rayalin. Till adjunkt utsågs löjtnant Pehr Herman von Rosenstein. Till kyrkoherde utsågs magister Sven Thunborg. Till provinsial medicus och guvernementsekreterare utsågs Samuel Fahlberg som senare även blev lantmätare.

Ombord på det första svenska skeppet, Sprengtporten, som lämnade Göteborg i början av december 1784 fanns alla ovan nämnda personer samt officerare, soldater m.fl. Man kom till St. Barth den 7 mars 1785. Då hade man passerat Martinique, Guadeloupe och St. Eustatius på resan. Den franska mottagningskommittén på St. Barth överlämnade i en högtidlig ceremoni över ön till Rayalin. Innan den svenska flaggan hissades när Rayalin kom till ön hade svenskar anlänt för att öppna ett faktori (handelshus) som skulle få igång handeln.

Innan svenskarna kom till St. Barth fanns det inte någon riktig hamnstad på ön. Den huvudort som fanns var Lorient. Men nu byggde svenskarna upp Gustavia runt den bästa naturliga hamnen.

Vid övertagandet 1784 bodde 739 personer på ön. Av dessa var 458 av europeiskt ursprung och 281 färgade.

St. Barthélemy förklarades som en frihamn 1785. Detta ledde till att ön hade det bra ekonomiskt de närmaste decennierna. Men det fanns inte bara fördelar med en frihamn. Man fick stora problem med smuggling. Efter ungefär ett år, 1786, inrättades Västindiska kompaniet som fick privilegier av svenska kungen för att kunna sköta handeln på St. Barth och i nya världen. Kompaniet skulle svara för allt som hade med hamnen och staden att göra på St. Barth. Den svenska kungen skulle ha in en fjärdedel av intäkterna från St. Barth. Det enda som konungen såg till att det blev gjort var byte av guvernör och garnison. Ett av privilegierna som Västindiska kompaniet hade var att de hade rätt att bedriva slavhandel mellan Västafrika och Västindien. Slavhandeln förbjöds på St. Barth 1847.

1787 fick St. Barth en ny guvernör. Han försökte få hovet i Stockholm att bidra med mer pengar till sin koloni. Det var väldigt dyrt att bygga upp Gustavia. Men det var inte bara till detta ändamål pengarna skulle behöva användas. Det var även till att kunna försvara ön mot ryssarna. Ryssland och Sverige var i krig1788 och ett år senare utbröt franska revolutionen. Efter att svenska kungen mördats på maskeradbalen i Stockholm 1792 och svenska fartyg i Antillerna angreps av engelska skepp insåg Sverige att kolonin behövde hjälp. Man skickade fartyget Neptune som var lastat med 3 000 ton krut. Neptune hann inte till St. Barth eftersom engelsmännen kapade fartyget.

Samuel Fahlberg var läkare och tidigare kirurg i Nordamerikanska frihetskriget. Han var en mångsysslare. Endast på St. Barth arbetade han som tullinspektör, ingenjör och lantmätare. År 1800 ritade han en karta över St. Barth. Man kan fortfarande se likheter mellan kartan och hur ön ser ut i dag.

Befolkningen ökade och slavarna blev fler. År 1800 hade invånarantalet stigit till 6 000 personer, 5 000 av dem bodde i Gustavia vilket då gjorde staden till Sveriges 5:e största stad. Enligt Bengt Sjögren som har skrivit ”Ön som Sverige sålde” hade det i Gustavia hunnit byggas upp 871 boningshus och inrättats 32 vattencisterner där drickbart vatten fanns att hämta.

Han skrev också att detta fanns i Gustavia år 1800: 40 grosshandlare, 3 skeppskramhandlare, 17 kramhandlare, 17 hökare, 2 assuransmäklare, 8 värdshus och billiarder, 22 ”krögare som försälja drickesvaror”, 1 urmakare, 6 bagare, 4 slaktare, 3 segelmakare, 3 guldsmeder, 1 grovsmed, 8 murare, 7 skeppstimmermän, 9 hustimmermän, 2 snickare, 6 skräddare, 3 skomakare, 1 hattmakare, 1 modist, 6 chirurger (gammal stavning på kirurger) och 5 skolor.

I boken ”En man, En ö, Ett liv”, som är skriven av Ingrid och Joachim Wall, står det att det 1806 fanns 340 hus. Och att detta fanns i Gustavia: 17 livsmedelsaffärer, 8 hotell, 4 slaktare, 3 juvelerare, 7 skeppsbyggare, 9 snickare, 8 murare, 5 skolor, 40 handlare av olika slag, exempelvis klockmakare och försäkringsagenter.

Under lite mer än ett år, mellan 19 mars 1801 och 10 juli 1802, var St. Barth inte under svenskt styre utan det var engelsmännen som hade hand om ön. Britterna hade en långvarig blockad mot Frankrike. Sverige, Danmark, Preussen och Ryssland ingick i ett neutralitetsförbund som skulle skydda deras sjöfart mot kaperier som England tyckte var nödvändiga. När neutrala engelska fartyg i engelska hamnar beslagtogs av neutralitetsförbundet beslöt engelsmännen att ta St. Barth. Den engelska flottan kom till St. Barth och ställde ett ultimatum, det blev inte så hårt. De svenskar som stannade kvar var tvungna att svära trohet till den engelske kungen. Men engelsmännen lovade att svenskarna inte skulle behöva kriga mot sitt eget hemland. Innan England tog över ön försökte man samla ihop personer som kunde försvara ön men man lyckades bara få ihop 20 män från Gustavia och 15 män från landsbygden, guvernören insåg att det skulle bli omöjligt att skydda ön mot engelsmännen. När engelsmännen upptäckte Västindiska kompaniets magasin betraktade de det som allmän egendom och övertog Västindiska kompaniet. När Sveriges utrikespolitik ändrades blev den till fördel för England, som lämnade tillbaka ön 1802 efter lite mer än ett års makthavande. Enligt invånarna på St. Barth hade det blivit oordning i guvernementshuset, på försvarsanläggningarna och i Västindiska kompaniets magasin när ön hade varit ockuperad. Läget på St. Barth blev inte lugnare när Sverige återigen tog makten. Upplopp utbröt, falska pengar skakade ön och kriget mellan Sverige och Frankrike tog hårt. Västindiska kompaniets privilegier upphörde helt 1805 och året efter tog den svenska kronan helt tillbaka styret över St. Barth.

1819 drabbades St. Barth av en orkan som förstörde 56 hus i Gustavia. Även många fartyg blev förstörda i stormen. Kung Karl XIV skänkte 8 000 franc till öns orkanoffer.

1819 tillträdde Johan Norderling som guvernör. Då bodde det 4 587 personer på ön. Av dessa bodde 2 910 i Gustavia (719 var vita, 713 färgade samt 1 478 slavar) och 1 677 på landsbygden (1 019 vita, 103 färgade samt 555 slavar). År 1821 drabbades ön ännu en gång av en orkan som förstörde många hus, guvernören Johan Norderling var själv tvungen att fly från sitt hem på grund av orkanen. Under den här tiden förekom tvister mellan svenskarna. En tvist var mellan Norderling och hovpredikanten Lönner som Norderling kallade för ”Jesuiten”. Lönner var tvungen att lämna ön för att man inte hade råd att betala för en predikant. Den sista prästen kom till ön 1830 för att tjänstgöra i Gustavia några år. Runt 1824 gjorde den gula febern det allt svårare för St. Barths invånare. För första gången gick svenskarna med ekonomisk förlust på St. Barth och antalet invånare hade minskat till ungefär 4 000 personer. Det sparades in på flera olika poster och fler började utvandra från staden. Det var dock en liten uppgång mellan 1827 och 1830, detta berodde på engelsmännen stoppade handeln med amerikanerna vilket ledde till att man då var tvungen att göra en omlastning i någon frihamn. Ännu en orkan drabbade ön 1837, vid denna orkan totalförstördes 200 hus och ett hundratal blev illa skadade. En svår feberepidemi bröt ut på ön som 1840 tog död på 300 invånare. Nu hade invånarantalet sjunkit till 2 555 personer.

I Sverige var det tronskifte. Oscar I tog över den 8 mars 1844 då Karl XIV Johan avled. Oscar I tyckte att St. Barth skulle säljas för att det inte gick med någon direkt vinst. Men det var svåra tider i hela Västindien. I samma veva avskaffades slavhandeln vilket ledde till att öarnas plantageägare drabbades. År 1845 började de odla jams, det är en asiatisk växt som äts som potatis. Man exporterade dessa till en del av de brittiska öarna. Gustavia hade det väldigt dåligt, och sämre skulle det bli. År 1850 drabbades ön av en så svår torka att det inte ens gick att köpa vatten och 1852 bröt en svår brand ut i staden. På västra sidan av staden blev 135 hus totalförstörda. Mellan 400 och 500 personer miste sina hem. På 1850-talet började man odla mer, man planterade bananträd i dalarna och på kullarna, och på bergknallarna odlade man ananas, tobak och bomull i stora skalor. Under den här tiden, då man kunde exportera lite mer än vad man hade gjort de senaste åren, ökade befolkningen till 2 901 personer 1857. Uppgången vände snabbt till en nedgång. Guvernören Carl Ulrich rapporterade hem till Sverige 1862 att ön inte hade det bra. Fattigdomen ökade, skolväsendet hade blivit dåligt och endast 5 % av folket på landsbygden kunde läsa och skriva.

En ny orkan härjade 1867 och gick hårt mot bebyggelsen och odlingarna. År 1872 hade St. Barth 2 390 invånare och det exporterades endast 5 000 pund bomull, 312 stråhattar men inget salt. Ännu en svår orkan drog över ön 1876. För St. Barth och andra öar såg det inte särskilt ljust ut. Man trodde att framtiden var räddad då man hittade bly på ön, men det var falska förhoppningar.

År 1868 ville Sverige på allvar bli av med St. Barth och man började först förhandla med USA, sedan fick Italien en förfrågan. Ingen av dessa länder var intresserade av den lilla ön i Västindien. Frankrike såg Sverige som en sista lösning, de hade tidigare haft ön. Man gjorde i augusti 1877 en överenskommelse om att Frankrike skulle ta tillbaka St. Barthélemy. Innan Frankrike tog tillbaka ön hölls en folkomröstning om vad de tyckte om att Frankrike skulle ta över ön. Det var bara 352 personer som röstade, endast en var emot förslaget. Den 16 mars 1878 halades den svenska flaggan och Trikoloren hissades istället på St. Barthélemy.