Durante más de dos décadas fue el cantante principal de la orquesta cubana de Pacho Alonso en los años cincuenta. En 1955 participó en un exitoso disco, “El Platanar de Bartola” con la Orquesta de Chepín-Chovén. Se trasladó a La Habana en 1957 y trabajó con la legendaria Orquesta Ritmo Oriental y con el gran Beny Moré, antes de reunirse de nuevo con el grupo Los Bocucos de Pacho Alonso. Hizo giras mundiales con esta banda y con los años, fue ganando seguidores.
Sin embargo, su nombre siempre quedaba en la sombra, era amado por la audiencia pero no por sus colegas. Perdió el entusiasmo por la música y se retiró en 1991. Se le vio lustrando zapatos en las calles y su antigua casa la cambió por una pequeña pensión donde se encerró retirado del mundo y tristemente de la música.
Pero en 1997, sus amigos lo convencieron de salir de su retiro y regresar a la música para grabar su debut con la orquesta Afro Cuban All Stars, el álbum A toda Cuba Le Gusta, seguido ese mismo año por su aparición en el Buena Vista Social Club, un álbum fruto del trabajo de Ry Cooder. Este disco obtendría un Grammy y un año más tarde grabaría su primer álbum en solitario, Buena Vista Social Club Presents Ibrahim Ferrer. Su segundo disco en solitario, Buenos Hermanos, obtuvo en el 2004 otro Grammy.