Det var i lördags som polisen fick flera samtal om att man sett att en person hängt en flagga med ett hakkors på i ett fönster.
En polispatrull åkte då till platsen och pratade med mannen.
– Han sa att han tycker att den är en symbol för frihet, säger Bengt Jeppson, förundersökningsledare polisen Karlshamn.
Mannen tog ner flaggan efter besöket av polisen men misstänks nu för hets mot folkgrupp.
– För att misstänkas för hets mot folkgrupp ska det inträffade väcka anstöt vilket det ju gjorde för de här personerna, säger Bengt Jeppson.