Bilen körde över en kant högt uppe på fästningen, och föll till en avsats cirka 3–5 meter nedanför.
Föraren fördes till sjukhus. Det är oklart vad som orsakade olyckan.
– Bilen är tagen i beslag för teknisk undersökning, säger Anna Göransson, presstalesperson på polisregion Väst.
Vill hindra bilar att ta sig ut på platån
Varbergs fästning har anor från medeltiden, men fick i huvudsak sitt nuvarande utseende på 1600-talet. Den förvaltas av Statens fastighetsverk.
– Vad jag vet har ingenting liknande inträffat där tidigare, säger fastighetschef Maria Hallberg till Hallands Nyheter efter måndagens olycka.
Nu kommer betonghinder att ställas ut, för att hindra att bilar tar sig ut på den platå där olyckan hände.