Ele se mudou para Kingston aos 14 anos para se dedicar à música e foi nesse período que adotou o nome artístico.

Seu primeiro sucesso local foi com o single "Hurricane Hattie" em 1962, ainda nos estilos ska e rocksteady, antes mesmo do reggae se consolidar.

Seu álbum de estreia internacional, "Hard Road to Travel", de 1967, foi aclamado pela crítica. Algumas de suas canções mais famosas da carreira do cantor incluem "Wonderful World, Beautiful People", "Vietnam" ? que Bob Dylan chegou a chamar de "a melhor canção de protesto já escrita" ? e "You Can Get It If You Really Want".

"I Can See Clearly Now", regravada por Cliff em 1993, se tornou um hit na trilha sonora do filme "Jamaica Abaixo de Zero".

Jimmy Cliff também era conhecido por sua conexão com o Brasil. Uma de suas filhas, a cantora e atriz Nabiyah Be, é brasileira, fruto do relacionamento dele com a artista visual Sônia Gomes. Além de Nabiyah, o cantor também tinha outros dois filhos: Lilty e Aken.

Na década de 1980, Cliff fez uma turnê ao lado de Gilberto Gil, que foi um sucesso de público. O jamaicano também teve várias de suas músicas em trilhas de novelas brasileiras, como na primeira versão de "Ti Ti Ti"e em "Rainha da Sucata".