Svenska världstian var helt dominant i första set i den tredje omgången mot nederländaren Tom Egberink.
Olsson fick knyta näven efter fint spel framme på nät vid den avgörande setbollen.
Men i andra set tappade han momentum och föll till slut i tiebreak.
– Jag spelar fantastiskt i första set. Sen kommer det in misstag i andra. Tom kommer in i matchen tack vare mig. Tennis... det är små marginaler, säger Olsson.
Egberink, rankad åtta i världen, var fortsatt starkast i tredje och sista set och vann med 6-3.
– Jag är inte 100 procent i dag. Men jag försökte, säger han.
Spelen i Tokyo är också det sista Paralympics för Olsson. Men vad som väntar framöver är inte helt klart.
– Jag får nog ta mig en funderare, säger han.
Stefan Olsson var en av Sveriges två fanbärare i Paralympics. 2012 vann han guld i dubbel tillsammans med Peter Wikström.