Bronsmonumentet, som är en avbildning av en kvinna i traditionella koreanska kläder som sitter i en stol, är ett minnesmärke över de koreanska kvinnor som utnyttjades som sexslavar på japanska bordeller under andra världskriget.
I fredags kallade Japan hem sin ambassadör.
Frågan om sexslavar har i många år plågat relationerna mellan de båda länderna. För drygt ett år sedan bad Japan om ursäkt för övergreppen och lovade ersätta offren.
– Japan har redan betalat en miljard yen (motsvarande 78 miljoner kronor) när vi uppriktigt fullgjort vår skyldighet. Jag tycker nu att det är dags för Sydkorea att visa god vilja i ett orubbligt läge, säger Abe i en intervju med mediebolaget NHK.