I och med att Milan överraskande förlorade mot Spezia hade Inter chansen att ta över serieledningen med en seger över Lazio.
Det var också Inter som började bäst.
I 22:a minuten slog Romelu Lukaku in 1-0 på straff och precis innan halvtidsvilan passade han på att utöka Inters ledning till 2-0.
Lazio var på inget sätt ofarliga utan dominerade spelaet i långa perioder och skapade också en hel del farliga målchanser.
Till slut lyckades man även få hål på Inter efter att Milinkovic-Savic slagit en frispark som tog i muren innan den gick in bakom en ställd Handanovic.
Men glädjen blev kortvarig för drygt tre minuter efter reduceringen kunde Inter kontra in 3-1 genom Martinez, på assist av Lukaku.
Det blev också slutresultatet.