Джонсън е роден в Кантон, Южна Дакота, и е израснал във ферма. Завършва Университета на Южна Дакота през 1982 г. със степен по политически науки. След като работи няколко години като законодателен помощник, той е избран в Камарата на представителите на Южна Дакота през 1986 г. Той служи в Камарата шест години, включително две години като говорител.
През 1996 г. Джонсън е избран в Сената на Съединените щати, побеждавайки действащия републиканец Лари Преслър. Той беше преизбран за втори мандат през 2002 г. и трети мандат през 2008 г.
Джонсън беше известен с умерените си политически възгледи и желанието си да работи както с републиканци, така и с демократи. Той също така беше силен поддръжник на селското стопанство и развитието на селските райони.
През 2014 г. Джонсън обяви, че няма да се кандидатира за четвърти мандат в Сената. Като причина за решението си той посочи здравословни проблеми, включително инсулт, който е получил през 2006 г.
Джонсън напусна Сената през 2015 г. Сега той е пенсиониран и живее във Вермилиън, Южна Дакота.