Jean byla celkem třikrát vdaná. Poprvé za režiséra Françoise Moreuila (1958-60), se kterým vydržela dva roky. Od roku 1963 do roku 1970 měla za muže v reportáži zmiňovaného Romaina Garyho. S ním měla syna Alexandre Diega a oficiálně také holčičku Ninu, která hned po porodu zemřela. Gary ji přijal za vlastní, i když Sebergová přiznala, že biologickým otcem je revoluční student Carlos Navarra, se kterým měla poměr v době odluky od Garyho. Třetím mužem (1972-79) byl další režisér Dennis Berry.
