Alex Oxlade-Chamberlain, nyförvärv från Southampton, gjorde 1-0 i åttonde minuten med ett skott som gick mellan benen på Mellberg.
Brassen André Santos, ny från Fenerbahce, utökade Arsenals ledning till 2-0 i 20:e minuten.
Det dröjde dock inte speciellt länge innan David Fuster reducerade. I 27:e minuten nickade han in 2-1. Olympiakos var en ribbträff från ett 2-2-mål.
-Vi är väldigt nöjda med tre poäng, säger Arsenals assisterande tränare Pat Rice, som ledde laget i avstängde Arsene Wengers frånvaro.
Erik Aldaeus