Oliver Robbins kommer fortfarande att delta i nästa veckas fjärde omgång av Brexit-samtal, men han kommer då att arbeta för premiärministern.
Enligt The Evening Standard beror Oliver Robbins flytt till Downing Street på meningskiljaktigheter mellan honom och brexitministern David Davis.
Vill inte kommentera
Oliver Robbins hade under måndagseftermiddagen ingen kommentar till att hans tjänst flyttas, men att han lämnar uppdraget mitt under pågående förhandlingar beskrivs av The Evening Standard som ”kaos” för premiärminister Theresa May.
LÄS MER: Analys: Oskön stämning i Europas mest omtalade skilsmässa