Il est l'heureux papa de cinq enfants, tous des garçons, et file le parfait amour avec Aurore Aleman, avec qui il s'est marié en août 2016. Avant de rencontrer la jolie brune, Benjamin Castaldi a vécu de belles histoires avec Valérie Sapienza, mère de ses deux aînés Julien (25 ans) et Simon (21 ans) puis Flavie Flament. Avec l'animatrice, il a eu un troisième enfant, Enzo (17 ans). Le couple a finalement divorcé en 2008, six ans après s'être uni. Bien des années plus tard, Benjamin Castaldi explique les coulisses de la rupture.
Ils se sont rencontrés en décembre 2000 lors de l'émission Les P'tits Princes, sur TF1. Un coup de foudre qui a laissé place à une belle idylle entre les deux animateurs. Mais un beau jour, tout a basculé. Sur le plateau de Touche pas à mon poste (C8) en mars 2020, Benjamin Castaldi raconte que c'est par SMS que Flavie Flament l'a quitté. "Je faisais la matinale sur RTL2. Je partais assez tôt le matin, je revenais après l'émission et je faisais une petite sieste parce que j'étais fatigué. J'ouvre ce téléphone et j'ai ce texto qui me dit : 'Voilà c'est fini.' C'est ouf et je vous jure que c'est vrai", avait-il confié.
Et de révéler le contenu de ce message qu'il qualifie de "violent" : "Le texte était assez concis et ça m'a marqué. C'était un assez beau message d'ailleurs : 'Mes jambes ne me portent plus, je sais que tu prendras soin du petit, je m'en vais.'" Plus tôt, en 2015, dans les pages de son autobiographie Pour l'instant tout va bien (éditions L'Archipel), Benjamin Castaldi évoquait "un message froid, plus ou moins clair mais direct". Et d'ajouter qu'"elle n'était plus là" et surtout elle n'est plus jamais revenue.
Rappelons que c'est une histoire de tromperie qui a brisé le couple. En octobre 2021, dans Touche pas à mon poste, l'animateur également chroniqueur de Cyril Hanouna a révélé avoir été pris sur le fait. Il possédait deux téléphones et échangeait avec sa maîtresse, une actrice, sur l'un d'eux. Un beau jour, Flavie Flament est tombée sur un texto explicite : "Je joue pour toi ce soir mon amour." "Ça a été une catastrophe évidemment. Elle me dit : 'C'est quoi ce texto ?' J'étais très mal, et en fait ça s'est terminé comme ça", avait-il déclaré. Ce n'est que quelques mois plus tard, lorsqu'elle a réalisé qu'elle ne pourrait pas passer outre cette trahison, que Flavie Flament a plié bagages.