Йоахим беше дете чудо и дебютира на седемгодишна възраст. Учи при Станислав Сервачински, а по-късно при Фердинанд Давид в Лайпцигската консерватория. Учи и композиция при Мориц Хауптман.
Кариерата на Йоаким като солист го отвежда из цяла Европа и той свири с много от водещите оркестри на времето. Той също е бил камерен музикант и е свирил с много от водещите музиканти на своето време, включително Клара Шуман, Йоханес Брамс и Джоузеф Хелмесбергер, старши.
Йоахим също беше всеотдаен учител и преподаваше във Виенската консерватория от 1869 до 1907 г. Той беше и основателят на квартета Йоахим, който беше един от най-известните струнни квартети на времето.
Йоахим оказва голямо влияние върху развитието на свиренето на цигулка и неговите учения оказват дълбоко влияние върху цигуларите по целия свят. Смятан е за един от най-великите цигулари на всички времена и наследството му продължава да вдъхновява и образова музиканти и до днес.