Nicklas Bäckström grävde fram pucken till Alexander Ovetjkin i sarghörnet. Ryssen i sin tur passade Joel Ward, som tryckte in segerpucken bakom Henrik Lundqvist.
– Det känns precis som att förlora på övertid, och det stinker, säger Lundqvist till Aftonbladet.
– Nästan lite chockerande, man var ju helt inställd på att det skulle bli övertid, och plötsligt låg pucken bara i kassen, säger Bäckström.
Ovetjkin gjorde 1-0 till Washington med ett rappt handledsskott 18.13 in i första perioden. Rangers kvitterade 15.21 in i tredje perioden när Kevin Hayes slängde iväg en puck mot mål som gick in via lagkamraten Jesper Fasts ben.
Washington leder kvartsfinalserien med 1-0 i matcher. Nästa match, även den i Madison Square Garden i New York, spelas lördag kväll svensk tid.