Proverna ska analyseras i Frankrike, där polisen öppnat en mordutredning.
Arafat blev sjuk hösten 2004 och avled 11 november i Paris. Familjen tror att han blev giftmördad och tidigare i år hittade schweiziska experter spår av det radioaktiva ämnet polonium i hans tillhörigheter.
-Det spekulerades redan när han dog 2004 om orsaken. Israel blir ju alltid anklagat i sådana här sammanhang, säger Magnus Norell, forskare vid Utrikespolitiska institutet. Men det blir naturligtvis mycket svårt för den franska polisen att utreda det hela så här långt efteråt.
-Även om man skulle komma fram till att det var israelerna eller någon annan palestinsk fraktion som låg bakom, så kan man ju fråga sig vilken betydelse det skulle kunna få, säger Magnus Norell.
-Med tanke på hur lång tid allt tagit, och hur lång tid analyserna tar, så blir det säkert diskussion om plantering av giftet, tror Magnus Norell.
-Vilken ställning har Arafat i Palestina i dag?
-När jag pratar med palestinier brukar det aldrig vara någon som pratar om honom, han är en glömd symbol. Han förde hem folket till Palestina, trots att han inte nådde ända fram. Han är väl lite som Mao i Kina, säger Magnus Norell.
Redan för flera dagar sedan hängdes stora blåa skyddsskynken upp runt graven som i själva verket är ett mausoleum mitt inne i Palestinska myndighetens administrativa centrum, den så kallade Mukaatan, i Ramallah.
En jättelik palestinsk flagga skyddar mot insyn uppifrån, rapporterar TT:s utsände.
Fyra olika prover
Enligt lokala nyhetsmedier pågick friläggandet av den betongsarkofag under jord där Arafats kvarlevor bevaras under flera timmar under natten till tisdagen.
Proverna togs av palestinska experter när kroppen låg kvar i graven, enligt palestinska mediekällor.
De delades upp bland experter från Frankrike, Schweiz, Ryssland och Palestinska myndigheten. Tanken är att de ska analysera proverna oberoende av varandra.
På tisdagsförmiddagen var provtagningen klar och Arafats kvarlevor begravdes igen.
-Operationen är avslutad, graven har stängts och proven har lämnats till de franska, schweiziska och ryska experterna, säger en tjänsteman från den palestinska kommission som utreder Arafats död till AFP.
Det är oklart när själva provtagningen blir klar. Analyserna kan komma att ta månader, och resultatet blir troligen inte klart förrän i april nästa år, heter det.
På minnesstenen mitt i mausoleet står att graven bara är temporär, i väntan på att Arafat kan begravas i ett av palestinierna kontrollerat Jerusalem.