La seconda stagione dell'era Capello per Olivera si trasforma in un incubo, tra infortuni e scelte tecniche infatti El Pollo praticamente non vede più il campo giocando appena 55', tutti in Coppa Italia. Un declino forse dovuto anche a uno scontro col tecnico friulano raccontato da Olivera a 'gianlucadimarzio.com'
"Una volta ho avuto un litigio con Capello. Durante un allenamento ho chiesto un rigore che non mi ha concesso, e l’ho mandato a quel paese. Da lì non mi ha più visto. Eppure per un anno e mezzo mi aveva trattato da grande giocatore, facendomi giocare anche al posto dei campionissimi. Dico la verità: per vestire la maglia della Juve bisogna essere dei professionisti esemplari. E io, in quel periodo, non lo sono stato. Dopodiché ho iniziato un po’ a perdermi".
Nell'estate 2006 poi scoppia Calciopoli che travolge la Juventus e cambia per sempre il destino di tanti giocatori, compreso Olivera.
"Feci tutto il ritiro con Deschamps, l’idea di restare c’era anche perché stavo giocando con continuità nelle amichevoli. Da un giorno all’altro, la società mi disse che volevano restare con pochi giocatori dell’anno precedente e mi chiesero di andare a giocare in prestito in Serie A. Venivo dall’ultimo anno di Capello dove non avevo mai giocato per via degli infortuni e fu su questo che gli allora dirigenti bianconeri fecero leva. “Un anno di prestito e poi torni alla Juve”, questo fu l’accordo".
La carriera di Olivera continua così alla Sampdoria. In blucerchiato torna a giocare con una discreta continuità fino al fattaccio: nell'andata dei quarti di Coppa Italia, contro il Chievo, perde la testa colpendo due avversari prima con un calcio e poi con un pugno: Risultato? Cinque turni di squalifica ed avventura a Genova finita.
Inizia così un lungo giro di prestiti che lo riporta in patria, nelle file del Penarol, con cui nel 2009 vince il secondo campionato della sua carriera. Ed a Genova ma con la maglia rossoblù del Grifone. Nel 2010 poi si svincola dalla Juventus chiudendo ufficialmente il suo periodo in bianconero.