När han ansökte om vapenfri tjänst hänvisade han till sin religiösa övertygelse och att han var aktiv i Svenska Missionskyrkan. Men som försvarsminister sa han att han ändrat inställning till väpnat försvar eftersom han sett några foton på massakrerade lik i Irak.

Men att han varit vapenvägrare sågs inte med blida ögon av Försvarsmakten. Enligt hans företrädaren Mikael Odenberg fick Tolgfors öknamnet TOMHYLSAN inom militära kretsar. Det är ett nedsättande uttryck för någon som är vapenvägrare.

En enkät som Sveriges Radios nyhetsprogram Ekot gjorde 2008 bland lokala partiordföranden för de fyra alliansparterna visade att Tolgfors var den mest impopuläre ministern i regeringen.

Planerna på att Sverige skulle hjälpa till att bygga en vapenfrabrik i Saudiarabien i utbyte mot industriorder till svenska företag blev början till slutet för Sten Tolgfors som försvarsminister.

Miljöpartiets språkrör Gustav Fridolin anmälde Tolgfors till konstitutionsutskottet i början på mars i år och efter det har media avslöjat en rad uppseendeväckande detaljer i Saudiaffären valde Sten Tolgfors på torsdagen att avgå som försvarsminister.