Antes de chegar ao programa, Murray havia passado pelo grupo de comédia The Second City, em Chicago, tradicional celeiro de talentos do humor nos Estados Unidos. Em 1977, substituiu Chevy Chase no ?Saturday Night Live? e permaneceu no elenco até 1980. Durante esse período, desenvolveu personagens recorrentes e ganhou um Emmy por seu trabalho de roteirista no programa. A televisão abriu caminho para uma carreira cinematográfica que rapidamente ganharia grande alcance.

A estreia de Murray no cinema ocorreu em ?Almôndegas? (?Meatballs?, no original), de 1979, e foi seguida por produções que ajudaram a transformá-lo em uma referência da comédia. ?Clube dos Pilantras?, de 1980, e ?Stripes?, de 1981, ampliaram sua popularidade. Em 1984, ele participou de ?Os Caça-Fantasmas?, dirigido por Ivan Reitman, interpretando o parapsicólogo Peter Venkman. O filme se tornou um dos maiores sucessos de sua carreira e ganhou status de clássico da cultura popular.

A segunda metade dos anos 1990 marcou uma mudança importante em sua trajetória. Em 1998, Murray interpretou o empresário Herman Blume em ?Três é Demais?, de Wes Anderson, desempenho que lhe rendeu reconhecimento da crítica e inaugurou uma colaboração duradoura com o diretor.

Depois disso, participou de outros filmes de Wes Anderson, como ?O Excêntricos Tenenbaums?, ?Moonrise Kingdom? e ?O Grande Hotel Budapeste?. A parceria ajudou a consolidar uma faceta mais contida e melancólica de seu trabalho, distante dos personagens exclusivamente associados à comédia.

Em 2003, Murray atingiu um dos pontos mais importantes de sua carreira ao protagonizar ?Encontros e Desencontros? com Scarlett Johansson, um filme dirigido por Sofia Coppola. Na produção, interpreta Bob Harris, um ator americano que atravessa uma crise pessoal durante uma temporada de trabalho em Tóquio. O papel lhe garantiu o Globo de Ouro e o BAFTA de melhor ator, além de uma indicação ao Oscar na mesma categoria.