Джонсън е роден в Индианаполис, Индиана. Започва да свири на тромбон на 11-годишна възраст. Учи в Консерваторията по музика на Артър Джордан и Музикалното училище на университета в Индиана.
Джонсън се премества в Ню Йорк през 1942 г. и бързо се превръща в един от най-търсените тромбонисти в града. Той свири с Чарли Паркър, Дизи Гилеспи, Бъд Пауъл и други бибоп легенди.
През 50-те години Джонсън започва да изследва хард бопа, по-нов, по-агресивен стил на джаза. Той записва няколко влиятелни албума със собствените си групи, включително "The Eminent Jay Jay Johnson Volume 1" (1954) и "Jay Jay Johnson with Clifford Brown" (1955).
Джонсън продължава да прави турнета и да записва през 60-те и 70-те години. Освен това е преподавал в Музикалния колеж Бъркли и Музикалното училище в Манхатън.
Джонсън почина от инфаркт в Индианаполис през 2001 г. Той беше на 77 години.
Джонсън беше майстор на тромбона. Имаше уникален звук, който веднага се разпознаваше. Той също беше талантлив импровизатор и композитор. Неговата музика е повлияла на безброй тромбонисти по света.
Ето някои от най-известните композиции на Джонсън:
* "Жалба"
* "Ezz-thetic"
* "Енигма"
* "Звезден прах"
* "Blue Funk"