Larmet kom vid klockan 12, lokal tid.
Den spanska polisen kunde kort därefter konstatera att bombhotet var falskt.
Enligt tidningen El País riktades ett bombhot mot den australiska ambassaden som är belägen på våning 24 av 56.
Flera ambassader i samma byggnad
I samma byggnad finns även ambassaderna för Storbritannien, Nederländerna och Kanada.
Hela byggnaden har evakuerats och genomsökts av bombhundar. I byggnaden arbetar normalt runt 2000 personer. Men då det är påskvecka befann sig bara runt 600-800 personer där i dag.
Evakueringen tog ungefär 25 minuter och enligt personer som El País har talat med uppstod ingen panik vid evakueringen.