Ruiné par la crise de 1933, le père de James Coburn s'établit en Californie quand son fils n'a que cinq ans. James Coburn suit des cours de théâtre à Los Angeles. A l'occasion d'un spectacle universitaire, il se fait remarquer par un régisseur qui lui propose un rôle dans une pièce. Cette première prestation lui permet de partir pour New York. Il débute dans des publicités pour des rasoirs puis dans des émissions de télévision. Enfin, il se décide à partir pour Hollywood. L'actrice Eva Gabor lui trouve un premier engagement dans une série, et de 1958 à 1960, James Coburn joue dans de nombreux téléfilms. En 1959, arrivé depuis six mois dans la capitale du cinéma, Coburn décroche son premier rôle sur grand écran pour un western avec Randolph Scott, Ride lonesome.
En 1960, John Sturges offre à James Coburn le rôle du tueur au couteau des Sept mercenaires. La prestation de l'acteur le rend célèbre, et il poursuit son ascension à la télévision. Trois ans plus tard, Sturges l'engage de nouveau pour La grande évasion au côté de Steve McQueen. Avec la création d'un nouvel espion de charme dans Charade (1963) de Stanley Donen et ses interprétations de Flint (Notre homme Flint, 1965, Daniel Mann ; F comme Flint, 1966, Gordon Douglas), Coburn devient un acteur recherché pour son allure sophistiquée - qui lui vaut d'être choisi à deux reprises par Blake Edwards (Qu'as-tu fait à la guerre, Papa ?, 1966 ; Opération clandestine, 1972) - et pour l'expression de son visage impavide. Il aborde tous les genres : le western (Il était une fois la révolution, 1971, de Sergio Leone), la comédie (Ce cher disparu de Tony Richardson), le thriller (Les invitations dangereuses, 1973, d'Herbert Ross), le film d'aventure (Le bagarreur, 1975, de Walter Hill), les films de guerre (La grande évasion ; La bataille de Midway, 1976, de Jack Smight ; Croix de fer, 1977, de Sam Peckinpah). Plus récemment, on voit sa silhouette grisonnante dans Hudson Hawk, gentleman et cambrioleur (1991) de Michael Lehmann, dans Sister act 2 (1993) de Bill Duke et dans Affliction (1997) de Paul Schrader.
James Coburn joue dans de nombreux téléfilms. Après son interprétation de l'espion Flint, il endosse le rôle de Sam Spade, héros de Dashiell Hammett, en 1978, puis il devient le Privé dans la nuit. Parmi ses autres téléfilms, il s'illustre dans des titres comme La vallée des poupées, L'engrenage, Hit list, Mastergate.