تزوج للمرة الأولى بعام 1940 من السيدة إقبال ماضي وأنجب منها ثلاث بنات هن رقية، راوية وكاميليا، لكنه انفصل عنها بعام 1949. وتزوج بعدها من جيهان رؤوف صفوت التي أنجب منها 3 بنات وولداً هم لبنى ونهى وجيهان وجمال.
له 13 أخاً وأخت، وكان والده متزوج ثلاث سيدات، ومن أشقائه عصمت والد السياسيين طلعت ومحمد أنور.