I elfte minuten höll han sig framme och när målvakten Tono stötte bollen rakt på Borges och in i mål.
Rayo Vallecano hann kvittera genom Alberto Bueno men sedan var det dags för Celso Borges igen.
I den 72:a minuten tilldömdes Deportivo straff. Ex-AIK:aren stegade fram och satte bollen säkert i högra krysset.
I en haltande tabell klev Deportivo upp till 13:e plats.