D'un milieu modeste, Roy Scheider s'intéresse très jeune au théâtre. Remarqué par le producteur new-yorkais Joseph Papp, il apparaît dans des pièces de Shakespeare et participe à de nombreuses tournées.
Après un début purement alimentaire dans un petit film d'horreur (The Curse of the Living Corpse, Del Tenney, 1964), Roy Scheider doit attendre le rôle de flic de French Connection (William Friedkin, 1971) pour s'imposer comme une valeur sûre. Son physique de baroudeur ténébreux séduit Steven Spielberg, qui lui confie le rôle du shérif triomphant du requin dans Les Dents de la mer (1975). D'acteur de second plan, Roy Scheider devient alors une star du film d'action (Le Convoi de la peur, William Friedkin, 1977). Il surprend ses pairs et son public avec Que le spectacle commence (Bob Fosse, 1979), où il crée avec panache le personnage de Joe Gideon, sorte de double du réalisateur Bob Fosse. Par la suite, l'acteur reprend sa routine de personnages virils dans des films à suspense (Paiement cash, John Frankenheimer, 1986) qui rappellent la palette de ses possibilités, à de rares exceptions près (Le Festin nu, David Cronenberg, 1991). Petit à petit il se confine dans des seconds rôles jusqu'à sa disparition en 2008.
Roy Scheider poursuit une carrière théâtrale. En 1980, il obtient un prix à New York pour sa performance dans Betrayal, d'Harold Pinter.
Il apparaît régulièrement à la télévision (Sea Quest DSV, 1993).