Im Januar 2009 kam Bailly für 2,5 Millionen Euro aus Genk und sollte die neue Nummer eins werden. Bailly wurde auch sofort Stammtorwart bei den damals immer um den Klassenerhalt kämpfenden Gladbachern und wusste auch durchaus mit guten Leistungen zu überzeugen. Für Schlagzeilen sorgte Bailly aber vor allem abseits des Platzes. Denn das Gehalt, das er in der Bundesliga kassierte, stieg dem Torwart vollkommen zu Kopf.
Der Spiegel berichtete über eine unglaubliche Verschwendungssucht. Ein Bentley für den Vater, ein Audi A5 für die Frau, und für sich selbst durften es dann ein Lamborghini, ein Ferrari und ein Audi A5 Cabrio sein! Zudem soll er das Wasser in seinem Swimmingpool einen gesamten Winter lang auf etwa 30 Grad geheizt haben. Bailly lebte offenbar weit über den Verhältnissen, selbst eines Fußballprofis.
400.000 Euro Schulden soll Bailly zwischenzeitlich angehäuft haben. Er hinterlegte daher den Berichten zufolge seine Kredit- und EC-Karte beim Klub, der Bailly zudem von seinen kolportierten 40.000 Euro netto pro Monat nur 7.000 Euro ausgezahlt haben soll. Der Rest floss demnach direkt in die Umschuldung. Die Schulden des Belgiers sollen ihn sogar in den Würgegriff der Wettmafia getrieben haben. Unter anderem die Bild berichtete, dass Bailly in diesem Zuge der große Zeh mit einem Hammer gebrochen wurde.
Diese persönlichen Probleme hatten natürlich dann auch Auswirkungen auf seine Leistungen auf dem Platz. Nach anderthalb guten Jahren ging es in der Saison 2010/11 deutlich bergab. Trainer Michael Frontzeck strich Bailly nach schwachen Leistungen aus dem Kader, Christofer Heimeroth übernahm den Platz zwischen den Pfosten.