Hemmalaget kvitterade med fyra sekunder kvar, men en Celjespelare störde sedan det påföljande Kristianstadsanfallet och domaren dömde straff enligt de nya reglerna som förbjuder spelsabotage under matchens sista 30 sekunder.
Kristianstads 21-årige landslagsman Jerry Tollbring visade kyla från straffpunkten, och sköt segern till gästerna.
Segern tar upp Kristianstad på slutspelsplats i Champions League-tabellen, förbi bland annat just Celje. Fyra matcher återstår av gruppspelet.
Nästa vecka tar Kristianstad emot det tyska svensklaget Rhein-Neckar Löwen på hemmaplan.