Конъри е роден в Единбург, Шотландия, през 1930 г. Баща му е работник във фабрика, а майка му е чистачка. Конъри напуска училище на 13-годишна възраст и започва работа като млекар. По-късно се присъединява към Кралския флот, където служи три години.
Актьорската кариера на Конъри започва в началото на 50-те години, когато той се появява в редица малки роли в британски филми. Големият му пробив идва през 1962 г., когато е избран за ролята на Джеймс Бонд във филма „Д-р Но“. Филмът има огромен успех и Конъри бързо се превръща в един от най-популярните актьори в света.
Конъри продължи да играе Джеймс Бонд в още шест филма, включително From Russia with Love (1963), Goldfinger (1964), Thunderball (1965), You Only Live Twice (1967), Diamonds Are Forever (1971) и Never Say Never Again (1983). Той също участва в редица други успешни филми през 60-те и 70-те години, включително The Great Escape (1963), Murder on the Orient Express (1974) и The Man Who Would Be King (1975).
През 80-те години кариерата на Конъри започва да залязва. Той участва в редица лошо приети филми, включително Outland (1981), Never Say Never Again (1983) и The League of Extraordinary Gentlemen (2003). Въпреки това, той получи известно признание от критиците за ролите си в „Недосегаемите“ (1987), „Индиана Джоунс и последният кръстоносен поход“ (1989) и „Скалата“ (1996).
Конъри се оттегли от актьорството през 2006 г. Той получи множество награди за работата си, включително награда на Академията, две награди BAFTA и три награди Златен глобус. Той също е рицар от кралица Елизабет II през 2000 г.