Poète, il est l’auteur de près de 70 recueils, pour la plupart publiés aux éditions Gallimard, parmi lesquels Amen (1968), Les ruines de Paris (1977), Le sens de la marche (1990) et la trilogie La physique amusante, dont le troisième tome a paru en novembre 2014. Il fut également rédacteur en chef de la Nouvelle Revue Française et chroniqueur de jazz.