Frisläppningen ska genomföras mellan 30 oktober och 2 november. De flesta sitter inne för lindrigare narkotikabrott och kommer till en början att placeras på rehabiliteringshem och sedan få villkorlig frigivning.
Bakom beslutet står en amerikansk kommission som ser över landets straffsatser. De menar att de förändrade riktlinjerna kan resultera i att hela 46 000 fångar kan släppas fria.
För tillfället sitter 206 000 människor i de federala fängelserna. Sammanlagt är 1,56 miljoner människor inlåsta i federala och delstatsfängelser.