Спенсър Трейси е оженен на Луиза Трейси (неевна Тредуел) от 1923 до смъртта ѝ през 1983 (60 години).
Той също има дългосрочна връзка с Катрин Хъпбърт от 1941 до смъртта му през 1967.