Fredriksborg ligger vid Oxdjupet som är den enda djupa inpassagen mot Stockholm. Övriga inlopp är Kodjupet vid Vaxholm, och tidigare utgjorde även Pålsundet en grund men möjlig väg mot huvudstaden. När Gustav Vasa blev kung 1523 och Kalmarunionen sprack, såg han ett hot från danska flottan mot Stockholm. 1544 beslutades att Pålsundet och Oxdjupet skulle försänkas och Kodjupet vid Vaxholm skulle bli enda infart och där skulle en fästning byggas på ön Vaxholmen, vilket skedde 1549-1558. Oxdjupet skulle försänkas med sten som staplades upp på isen vintertid samt sänktes från fartyg sommartid. Under 1600-talet började man även sänka uttjänta fartyg i sundet. Under det långa arbetet skyddades Oxdjupet med bomstängsel och enklare jordvärn. Det skulle komma att ta ända till 1839 innan hela arbetet kunde slutföras.
Under Stormaktsperioden på 1600-talet expanderade riket och som försvar mot Danmark fungerade då bl.a. Kalmar Slott samt den nya örlogsstaden Karlskrona dit mycket av flotta och skeppsbyggeri flyttades, från Stockholm. Det stora Nordiska Kriget 1700-1721 började hoppfullt för Karl XII men kom att sätta stormakten i gungning. Efter vändpunkten i kriget, slaget vid Poltava 1709, byggdes Fredriksborgs första fästning upp - en skans framför Officersbostället (idag den röda hotellbyggnaden), med vattenbatteri och fyra kanoner nedanför vid Oxdjupet. Efter krigsslutet 1721 när sundet fortfarande inte hade kunnat blockeras, beslöt riksdagen 1723 att bygga nuvarande Fredriksborgs Fästning. Det döptes efter Friedrich Von Hessen, gift med Ulrika Elionora, och som blev kung Fredrik den första 1720.
1724-1735 uppfördes Fredriksborg och efter slutförandet ansågs den vara Sveriges starkaste och en av Europas modernaste befästningar. Fredriksborg bestod av två delar - Strandverket nere vid vattnet med 41 kanoner, ca dubbelt så stort som idag, såg till att inga fartyg skulle våga gå igenom sundet. Och det stora Oxdjupstornet uppe på platån 40 meter över vattnet, var drygt 6 meter högre än idag, hade två plan med stora kanoner, gevärsgalleri i markplan, vindbrygga och utsiktstorn drygt 60 m.ö.h. Tornet skulle skydda Strandverket från anfall i ryggen landvägen, kunna skjuta mot sundet och dessutom vara ointagligt, klara en belägring. Det kunde hysa stora mängder ammunition, proviant och ett manskap på teoretiskt uppemot 2.000 man på sina fyra våningsplan med krutförråden i kärnan i mitten.
1700-talet kom att bli en fredlig period jämfört med tiden innan, frihetstiden ersatte enväldiga kungar och krigen blev färre. Handel och välstånd ökade och landet återhämtade sig. Stockholm attackerades aldrig och Fredriksborg blev aldrig testat. Fästningen började förfalla under 1700-talet, rustades upp under Napoleonkriget, men hade därefter blivit föråldrat och dömdes ut.
1839 när man hade slutfört försänkningen av Oxdjupet, och börjar bygga Vaxholms Kastell, beslöt man att riva delar av Fredriksborgs fästning för att få byggmaterial till Vaxholm. Med ett spärrat sund, behövdes inte längre Fredriksborg. Strandverkets södra kanontorn och tenaljer togs ner. Oxdjupstornets övre två våningar och koppartaket, liksom hela gevärsgalleriet i bottenplan togs ner, sandstensfasaden och så mycket tegel man kom åt utifrån byggnaden. Resten av fästningen, ungefär det som står kvar idag, lämnas som ruin att förfalla.
Efter nedläggningen blev både Officersbostället och Stenkasernen bostäder för militärens personal eller familjer. Stenkasernen, som en gång ritades av rikets främsta arkitekt Carl Hårleman, byggdes om från soldatbostad till sex lägenheter som kom att användas permanent eller som sommarbostäder ända fram till 2000-talet.
1800-talets industrialism skulle snart ändra förutsättningarna igen, och fartygen började bli allt större. På 1860-talet började de allt större och mer djupgående handelsfartygen att få problem att gå igenom Kodjupet. Man hade inget val än att öppna Oxdjupet igen men för att då skydda sundet krävdes först en modern befästning. Det blev Oscar Fredriksborg, byggt 1870-1877, såsom ett lågt, skyddat och bepansrat fort av senaste slag. När det stod klart kunde sundet öppnas igen och är allt sedan dess den enda farleden för större fartyg mot Stockholm och där alla kryssningsfartyg idag passerar.
Utvecklingen fortsatte och även Oscar Fredriksborg skulle komma att bli omodernt. I början på 1900-talet flyttade försvaret till Rindö. Sveriges första ballongkompani lades här men när sedan flyget kom och dess snabba utveckling under första världskriget medförde hot uppifrån, så blev även Vaxholmslinjens modernaste fästning Oscar Fredriksborg omodern. Hela försvarslinjen avvecklades sedan 1925, men skulle komma att ersättas av försvar längre ut i skärgården.
Det nedlagda Fredriksborg har sporadiskt använts, bl.a. som stall under en period då försvaret på Rindö hade hästar, och som förläggningslokal under första och andra världskriget. Det kvarvarande norra kanontornet blev förråd, och Corps de Garde, vaktstugan på bryggan blev tvättstuga. Fredriksborgs fästningsbyggnader förklarades som statligt byggnadsminne 1935, och resterande delen av Fredriksborg, nuvarande hotellbyggnaderna från 1720- och 1750-talet blev byggnadsminne 2002.
Fästningen har underhållits och renoverats vid flera tillfällen under 1900-talet, medan Stenkasernen och Officersbostället restaurerades och byggdes om mer omfattande, men med bibehållen äldre stil. Fredriksborg öppnade som hotell med 15 rum så sent som 2013-2015.
Området i övrigt är fullt av spännande historia - Fredriksborg och Vaxholms fästning hade Sveriges första optiska telegraf på 1790-talet vilket uppmärksammas av en replika på Fredriksborgs fästnings tak. I Oxdjupet nedanför hotellet finns mindre synlig, men lika spännande sjöfartshistoria, och här hittade marinarkeologer helt nyligen regalskeppet Vasas större systerfartyg Äpplet, sjösatt 1629 och sänkt 1659.
Det finns också gott om spännande historia i närområdet och många utflyktsmål för vandring eller cykling - t.ex "Atomlagret", Oscar Fredriksborgs fort mitt emot Oxdjupet, Rindö kulturstig mot Vaxholm och Vaxholms fästningsmuseum på Kastellet. Och via Vaxholms fina turistbyrå kan man boka stadsvandring eller kanske en slottsvandring på Bogesunds slott vid.
Idag ger Fredriksborg Hotells personal dagliga guidningar av fästningen mellan 1 maj och 30 september, och då berättas hela historien kring fästningen, Vaxholmslinjen och Sveriges historia. I regel kl. 17 på svenska och på begäran kl. 18 på engelska. Kostnadsfritt för hotellets gäster eller 120 kr för externa. Guidningar kan även beställas valfri tid för en grupp, kanske i kombination med lunch eller middag eller bara som guidning.
Fästningstornet har på senare tid blivit ett s.k. bat fort, en plats där fridlysta rödlistade fladdermöss har funnit sin vinterdvala i tornets frostfria kärna. Fästningen är därför inte tillgänglig från 1 oktober fram till 30 april, då de har mat i luften igen och lämnar fästningen. De är bara ett drygt tjugotal, men äter uppåt 5.000 mygg per styck per natt och kanske är det tack vare dem som sommarkvällarna här är tämligen myggfria om man vill sova med öppet fönster eller ta ett glas vin på terrassen i fred.
