Hurrarop mötte enligt ögonvittnen soldaterna på vägen mot huvudstaden Ouagadougou. Styrkorna uppges inte ha mött något motstånd från presidentens vaktstyrkor, som genomförde maktövertagandet i förra veckan.
– Vi måste nu säkerställa att kuppledarna ger upp utan skottlossning eller blodspillan, säger polischefen Serge Alain Ouedraogo till nyhetsbyrån AFP.
Senast klockan elva (svensk tid) måste kuppmakarna lägga ned sina vapen, annars kommer militären att gå till attack, säger en högt uppsatt militär till nyhetsbyrån Reuters.
Många döda och skadade
Både president Michel Kafando och premiärminister Yacouba Isaac Zida, som hållits fångna sedan militärkuppen i onsdags, uppges ha släppts.
Kuppmakarna från presidentgardet är lojala expresidenten Blaise Compaoré, som styrde Burkina Faso i 27 år, men som avsattes i ett folkligt uppror i fjol. Maktövertagandet skedde bara veckor innan landet skulle gå till val.
Men pressen på kuppmakarna har gradvis ökat, både inifrån landet och internationellt. Och i går kväll bad kuppmakaren Gilbert Diendere nationen om ursäkt och lovade lämna över makten till en civil övergångsregering, rapporterar nyhetsbyrån AP.
Minst tio personer har dödats och över 100 skadats under oroligheterna.