Ad assicurarsi il forte difensore è la Roma, che attraverso il D.s. Franco Baldini lo sceglie come erede di Walter Samuel, ceduto al Real Madrid, per far coppia con il rumeno Cristian Chivu. Ne nasce però una controversia con l'Auxerre, che accusa i capitolini di aver preso il giocatore quando era ancora sotto contratto con loro.
La FIFA lo squalifica inizialmente per sei settimane, poi però il TAS accoglie la sospensiva, consentendo a Philippe di tornare in campo a settembre. L'anno seguente la Camera di risoluzione delle controversie della FIFA stabilirà in 7 milioni di euro il rimborso dovuto dai capitolini al club francese a titolo risarcitorio, mentre il procuratore di Mexes, Olivier Jouanneaux, viene sospeso dalla massima istituzione calcistica per sei mesi per "violazione unilaterale del contratto del difensore".
I primi mesi a Roma sono tutt'altro che facili per il francese, che dopo l'esordio in Serie A il 12 settembre 2004 contro la Fiorentina (1-0 all'Olimpico), tre giorni dopo, mercoledì 15 settembre, nella prima gara di Champions con i colori giallorossi, incappa in una serata nera contro la Dinamo Kiev.
Rientrando negli spogliatoi dopo il primo tempo, Mexes è espulso dall'arbitro Frisk per aver scalciato Verpakovskis. Il pubblico dell'Olimpico ne prende le difese e qualcuno lancia oggetti verso il direttore di gara. Quest'ultimo è colpito in fronte da una monetina e inizia a sanguinare copiosamente.
Pur non essendo colpa sua, la società la paga a caro prezzo: sconfitta per 0-3 a tavolino e due partite a porte chiuse per i giallorossi, mentre il difensore è squalificato per 2 turni per "comportamento particolarmente antisportivo", denotando fin da subito quello che da lì in avanti sarà il limite principale della sua carriera.
La stagione 2004/05 è disgraziata per la Roma, che in panchina passa da Völler a Delneri e infine a Bruno Conti, e chiude in campionato con un deludente 8° posto finale. Le cose cambieranno dal 2005/06, quando la squadra è affidata dalla famiglia Sensi a Luciano Spalletti.
Inizialmente quest'ultimo preferisce a Mexes il ghanese Kuffour, ma quando quest'ultimo parte per raggiungere la Nazionale in vista della Coppa d'Africa, lancia da titolare il francese in coppia con Christian Chivu. Il 30 ottobre segna il suo primo goal italiano contro l'Ascoli (vittoria per 2-0) e si ripete nella giornata dopo col Messina (0-2 per i giallorossi).
È la svolta, perché Mexes si ritrova e inizia a giocare ad alti livelli e mantiene la titolarità anche dopo il rientro del difensore ghanese. La Roma, con la coppia Mexes-Chivu, ottiene il record di 11 vittorie consecutive, chiude al 2° posto dopo lo Scandalo di Calciopoli e si qualifica in Champions League. Inoltre è finalista in Coppa Italia.
Alto un metro e 87 centimetri per 82 chilogrammi di peso forma, il prestante difensore diventa un idolo dei tifosi giallorossi a partire dalla stagione 2006/07. La Lupa, guidata sempre da Spalletti, raggiunge i quarti di Champions League dopo 23 anni, e, nonostante il pesante rovescio per 7-1 ad Old Trafford, Mexes è fra i grandi protagonisti della squadra sul palcoscenico internazionale.
Grinta e forza fisica da vendere, il francese diventa uno dei leader dello spogliatoio in una stagione da 41 presenze e 3 goal che porta in bacheca il suo primo trofeo fuori dalla Francia: la Coppa Italia vinta a discapito dell'Inter (vittoria per 6-2 all'Olimpico e sconfitta per 2-1 a San Siro).
A fine stagione per il francese si materializzano le sirene di altri grandi club europei dall'elevata disponibilità economica, su tutti il Real Madrid. Ma Philippe si sente ormai giallorosso dentro e rinnova il suo contratto con la Roma.
"È una scelta di vita - dichiara -. Mi sento romano e romanista e voglio restare qui".
Qualche mese più tardi per Mexes, ribattezzato dai tifosi "Rugantino", la maschera romana spavalda e impertinente ma dal cuore buono, arriva anche la Supercoppa Italiana: i giallorossi sconfiggono ancora l'Inter (0-1). Partito Chivu in direzione Inter, nel 2007/08 il centrale di Tolosa è affiancato in difesa dal brasiliano Juan, con cui va a formare un'altra coppia ben assortita.
Ne nasce un'altra stagione esaltante: la Roma è nuovamente seconda in campionato e raggiunge per il secondo anno consecutivo i quarti di Champions: ad eliminare i capitolini di Spalletti sono sempre i Red Devils, che si impongono all'Olimpico e all'Old Trafford (0-2 e 1-0) ma stavolta senza umilianti goleade.
Le soddisfazioni per Mexes (45 presenze e 2 goal) arrivano comunque nuovamente in Coppa Italia. I giallorossi la vincono per la 9ª volta nella loro storia superando 2-1 la solita Inter con il primo dei due goal firmato proprio dal centrale difensivo francese.
Mexes, che parla un italiano ibrido con cadenza francese e accento romano, entra definitivamente nel cuore dei tifosi. Ma iniziano i problemi. Complici anche i primi problemi fisici, nel 2008/09 gioca con minore regolarità e mostra alcuni eccessi preoccupanti. Emblematica l'espulsione nel derby di ritorno perso 4-2 con la Lazio, nel quale il francese è cacciato dall'arbitro dopo una rissa con gli avversari e in particolare con Matuzalem.
Nel corso del 2009/10 l'arrivo in panchina di Claudio Ranieri al posto di Spalletti e dell'argentino Nicolas Burdisso in rosa cambiano le prospettive del centrale francese, che inizia ad alternarsi spesso con lui nell'undici titolare. Al termine di una bella cavalcata, la Roma, sconfitta 1-2 dalla Sampdoria di Cassano e Pazzini, chiude 2ª e vede sfumare all'ultimo le possibilità di Scudetto.
Mexes non regge l'urto emotivo e alla fine del match con i blucerchiati un'immagine iconica lo ritrae in lacrime mentre in panchina si mette le mani in testa per il grande traguardo sfumato.
Fuori dal campo il difensore è vittima anche di due gravi tentativi di furto: il 24 luglio 2008 due ladri gli avevano l'auto con all'interno la figlia Eva e accortisi della piccola che dormiva sul sedile posteriore abbandonarono l'auto, mentre proprio nel corso di quella stagione, il 10 febbraio 2010 alcuni malviventi si introducono nottetempo nella sua abitazione, con la moglie e la figlia all'interno, e rubano oggetti vari per un valore di circa 10 mila euro.
Nel 2010/11, annata in cui in panchina Montella subentra a Ranieri, il difensore di Tolosa torna a giocare con maggiore regolarità, anche se il rendimento è altalenante e gli episodi discutibili che lo vedono protagonista continuano a ripetersi: il 22 settembre 2010 è espulso in Brescia-Roma 2-1 dopo una sfuriata nei confronti dell'arbitro Carmine Russo e rimedia tre giornate di squalifica.
Gli ultimi goal in maglia Roma sono la potente sassata da fuori area contro il Cluj in Champions League e l'inutile rete nel k.o. per 4-3 al Ferraris con il Genoa il 20 febbraio 2011 che costa la panchina a Ranieri. Con l'Aeroplanino il rendimento del francese sembra in crescita ma il 3 aprile 2011, in un Roma-Juventus vinto 0-2 dai bianconeri, Mexes deve lasciare anticipatamente il campo per un grave infortunio.
Gli esami evidenziano la rottura del legamento crociato del ginocchio sinistro, che tradotto significa stagione chiusa in anticipo. Quella gara sarà anche l'ultima apparizione in giallorosso del 'Rugantino' francese, che dopo 267 presenze e 15 goal complessivi con la Lupa in ben 7 stagioni, saluterà la capitale accordandosi con il Milan, per la delusione dei tanti tifosi che lo avevano amato.