Né à Cleveland, Joel Grey, de son véritable, Joel Katz, est le fils de Mickey Katz, chanteur,
clarinettiste (spécialiste de la musique juive) et acteur comique très célèbre pendant les années 40 et 50. Grandissant dans cet environnement artistique, Joel débute sur scène à l'âge de 9 ans dans "On Borrowed Time". Il s'illustre bientôt dans la revue de son père, où Eddie Cantor, un producteur, le remarque et lui permet, alors qu'il a tout juste 16 ans, de faire sa première
apparition sur petit écran dans la célèbre émission "The
Colgate Comedy Hour". A 19 ans, Joel Grey devient chanteur au Copacabana de New York, puis au Palladium de Londres.