Skalvet, som inträffade på fredagskvällen svensk tid, fick bland annat ett 16 våningar högt bostadshus att kollapsa i miljonstaden Tainan.
En av dem som hittades livlös var en tio månader gammal flicka. Över 30 personer befaras fortfarande vara kvar under rasmassorna efter huset som innehöll nästan 100 lägenheter.
Räddningsarbetare jobbar nu febrilt med att rädda överlevande.
Slog sig ut
En kvinna berättar för en lokal tv-kanal hur hon kämpade för att ta sig ut från det kollapsade huset.
– Jag använde en hammare för att slå sönder dörren, som var söndervriden och låst, och lyckades ta mig ut, berättar hon gråtande.
Jordbävningen inträffade fyra mil nordost om Kaohsiung som är öns näst största stad och en viktig hamn. Den inträffade på tio kilometers djup och beräknades först ha en magnitud på 6,7, men nedgraderades sedan till 6,4.
”Vi gör allt”
Taiwans president Ma Ying-Jeou, som begett sig till katastrofplatsen, säger till reportrar att det fortfarande är oklart hur många som drabbats.
– Vi kommer att göra allt för att rädda de överlevande, säger han.
Sammanlagt är över 1 500 personer inblandade i räddningsarbetet.
Taiwan ligger nära den så kallade eldsringen, där kontinentalplattor möts. Det är en av de seismiskt mest aktiva regionerna i världen.
I september 1999 drabbades Taiwan av en förödande jordbävning med magnituden 7,6 som dödade omkring 2 400 personer.