Endast 40 procent av avgifterna är synliga för konsumenterna. Resten är dolda avgifter som bankerna tar ut av företagen där kunderna handlar.
Kostnaderna för kortbetalningar uppgår till sju miljarder kronor om året medan bankernas övervinst beräknas till en miljard.
-Bankerna har monopol på betaltjänster och tar orimligt mycket betalt. Fler aktörer borde vara med och öka konkurrensen, säger Bengt Nilervall, betalansvarig på Svensk Handel.
Större delen av avgifterna tar bankerna ut i form av serviceavgift från handlarna vid kortköp, enligt Svensk Handel.
Den kostnaden kunde handlarna tidigare plocka ut från konsumenten via kortet, men 2010 infördes lagen om betaltjänster som förbjuder handlarna att ta ut avgiften.
Får 10 kr per transaktion
Det innebär att handlaren i slutändan tar ut kostnaden genom att höja priser på varorna.
I snitt tar banken ut ca 3,30 kronor för bankkort av handlaren per transaktion och omkring 10 kronor för kreditkort.
Flera försök görs nu för att gå runt de dolda avgifterna, bl.a. pilotstudier av betalning av via mobilen.
Samtliga innebär lägre kostnader eller inga alls för handlarna, vilket välkomnas från HUI:s sida.