Джими Клантън е роден в Миндън, Луизиана, през 1938 г., но се премества в Шривпорт, Луизиана, на млада възраст. Когато е на 16, той решава да се премести в Алабама, за да продължи музикалната си кариера. Клантън живее в Алабама в продължение на 15 години и записва много от хитовите си песни, докато живее в щата.