Olympiakos Piraeus is op 10 maart 1925 opgericht. De club dankt de naam Olympiakos aan Notis Kaberos, die van mening was dat de naam van de nieuwe club kracht, superioriteit, ethiek, nobelheid en een Olympisch karakter moest uitstralen. In de beginjaren van de club maken de gebroeders Andrianopoulos de dienst uit in het elftal. Maar liefst vijf broers, allen aanvallers, speelden destijds in het team van Olympiakos.  

De club, die vanaf het begin een grote schare fanatieke fans heeft, wint in 1931 voor het eerst de Griekse landstitel. Op het moment dat de Tweede Wereldoorlog uitbreekt, heeft Olympiakos al zes landstitels achter zijn naam staan. In 1947 wint de club voor het eerst de dubbel. De jaren 50 zouden de geschiedenis ingaan als het meest succesvolle decennium van de club. De club verovert in deze periode zowel de landstitel als de nationale beker zeven keer. Vijf keer wordt de dubbel gewonnen.   

Ook in de meest recente jaren is Olympiakos uiterst succesvol geweest. Tussen 1997 en 2003 verovert de club maar liefst zevenmaal op rij de landstitel, een Grieks record. De verovering van de dubbel in zowel 2005 als 2006 mag eveneens een grootse prestatie worden genoemd. Met 35 landstitels en 22 nationale bekers is Olympiakos de meest succesvolle club in de Griekse voetbalgeschiedenis.