Explosionen på måndagen ska ha inträffat när tankbilen skulle tanka över gas på bensinstationen som ligger längs med en större väg som binder ihop städerna Laifa och Makurdi, cirka 20 mil sydost om huvudstaden Abuja.
En kraftig brand bröt ut och många av offren skadades sedan de hade rusat till platsen för att se vad som hänt, uppger Usman Ahmed, chef för delstatens räddningstjänst.
– Vi har 35 bekräftade dödsoffer och över 100 skadade, säger Ahmed till nyhetsbyrån Reuters.
Myndigheterna ska utreda olyckan. Så sent som i juni inträffade en svår olycka med en tankbil i Nigerias största stad, Lagos. Nio personer dog och över 50 fordon förstördes i den olyckan, efter att en tankbil fattat eld.