Larssons Frankfurt nådde 1–1 i bortamötet förra veckan och hade ett bra utgångsläge inför returen.
Men trots stort spelövertag var det Tottenham som drog längsta strået i en match med tre svenska landslagsspelare på planen.
Tottenhams segermål kom på straff i 43:e minuten genom Dominic Solanke.
Detta sedan hemmamålvakten Kaua Santos gjort ned James Maddison.
Bergvall spelade från start och Kulusevski, som började på bänken, kom in i slutet av första halvlek.
Hugo Larsson blev utbytt efter 76 minuter.