لا يزال رحيل كالافيوري عن روما نقطة خلاف بالنسبة للعديد من المشجعين، الذين شاهدوا موهبة محلية تضيع من بين أيديهم. كشف المدافع أن علاقته مع المدرب آنذاك جوزيه مورينيو تغيرت بشكل جذري بعد الهزيمة المذلة 6-1 أمام بودو غليمت في الدوري الأوروبي. كانت تلك الليلة هي التي أنهت فعليًا فرصته في الانضمام إلى التشكيلة الأساسية بشكل دائم، مما أدى إلى فترة إعارة محبطة في جنوة.
يتذكر كالافيوري تلك الفترة الصعبة ويقول: "بدأت أول ستة أشهر مع مورينيو، وفي البداية سارت الأمور على ما يرام ولعبت كلاعب أساسي. بعد الهزيمة 6-1 أمام بودو غليمت، لم ألعب بعد ذلك وأردت الحصول على مساحة أكبر". وأضاف: "ذهبت إلى جنوة على سبيل الإعارة، وكان الوضع معقدًا. في داخلي لم أستسلم أبدًا، لكن الفكرة بقيت في ذهني. في تلك اللحظة كنت محبطًا للغاية".