Artysta zadebiutował w 1984 r., w wieku 13 lat jako solista z Zubinem Mehtą i Israel Philharmonic, a jako siedemnastolatek nagrał swoje pierwsze utwory dla Deutsche Grammophon z udziałem Jamesa Levine'a i Chicago Symphony Orchestra. Haimovitz zadebiutował w Carnegie Hall, gdy zastąpił swojego nauczyciela, legendarnego Leonarda Rose'a. Wykonał wtedy „Kwintet smyczkowy” Schuberta, u boku Izaaka Sterna, Mścisława Rostropowicza, Pinchasa Zukermana i Szlomo Mintza.
Kariera nagraniowa Haimovitza obejmuje ponad 20 lat. Jego albumy były wydawane przez Deutsche Grammophon i jego własną wytwórnię Oxingale Records, we współpracy z PentaTone Classics. Ostatnie nagranie z pianistą Christopherem O'Rileyem, „Shuffle.Play.Listen” (Oxingale Records), świętujące ewolucję doświadczenia odsłuchowego od czasów iPoda, spotkało się z jednogłośnym uznaniem. Duet kontynuuje współpracę, tym razem nad „BEETHOVEN, Period”. stanowiące przegląd sonat i wariacji Beethovena wykonywanych na instrumentach historycznych.

Haimovitz został wielokrotnie honorowany różnymi nagrodami. Otrzymał m.in.: nagrodę Muzyka Koncertowa od ASCAP, nagrodę Trailblazer przyznaną przez American Music Centre, grant im. Avery’ego Fishera, Grand Prix du Disque, Diapason d'Or oraz Premio Internazionale „Accademia Musicale Chigiana”.Studiował u wiolonczelisty Leonarda Rose w Juilliard School i otrzymał tytuł B.A. magna cum laude z najwyższymi honorami na Uniwersytecie Harvarda.

Haimovitz gra na wiolonczeli Giovanni Grancino z Mediolanu (ok. 1695-1700 r.), którą otrzymał od firmy CANIMEX INC. z Drummondville (Quebec) w Kanadzie.