Робърт Дауни мл. е женен на Сюзън Дауни (мladeжава Левин) от 2005 година. Тя е филмов продуцент (Готика, Книгата на Илия, филмите за Шерлок Холмс). Имат двама деца заедно. Той не свида никого друг.