Matchen startade i högt tempo åt båda håll, men efter en tid tog serberna över.
Serbiens stjärnor Sergej Milinkovic-Savic och Aleksandar Mitrovic hade bra lägen, men Navas räddade allt.
I den 43:e minuten drog Milinkovic-Savic till med en riktigt snygg cykelspark, men inte heller den gick in.
Drömmålet kom sedan i den 56:e minuten och det blev också matchens enda fullträff.
Med fem minuter kvar att spela föll Mitrovic i straffområdet, men domaren Malang Diedhiou att fria.
Alldeles i slutet av matchen tog en av Costa Ricas ledare bollen i handen och vägrade ge den till en förbannad Nemanja Matic.
Nu ser det mörkt ur för Costa Rica, som gjorde succé i VM 2014. De två övriga lagen i gruppen är Brasilien och Schweiz som möts senare ikväll.
I Costa Rica blev den tidigare AIK-spelaren Celso Borges den som har gjort tredjeflest landskamper för landet, 114 stycken.
