Né de parents grecs originaires de l'île de Corfou, il grandit dans un environnement multiculturel (juif, grec, italien, arabe, français) et se passionne vite pour la littérature et la chanson française (et notamment Édith Piaf). Venu à Paris en 1951, il exerce la profession de journaliste, puis de barman dans un piano-bar, ce qui l'amène à fréquenter des personnalités du monde musical de l'époque. Il entend ainsi Georges Brassens se produire un soir, et c'est pour lui une révélation. Il n'aura de cesse par la suite de faire référence à son maître, allant jusqu'à adopter son prénom en son hommage. En 1958, il rencontre Édith Piaf, pour qui il écrira une de ses chansons les plus connues, Milord. Il aura avec la grande dame une relation fougueuse mais courte. Tout au long des années 1960, il se positionne comme un compositeur parolier pour les grands noms de la chanson française comme Yves Montand, Barbara et surtout Serge Reggiani. Il crée alors des chansons qui resteront parmi ses plus grand succès: Sarah, Ma Solitude, Joseph et Ma Liberté ou encore La longue dame brune qu'il interprète alors en duo avec Barbara.