Adolescent, Jacques Weber suit les cours d'art dramatique du conservatoire du XIIIème arrondissement de Paris. A 16 ans, il est reçu au concours d'entrée de l'école de la rue Blanche. Il entre ensuite au Conservatoire National d'Art Dramatique dans la classe de Robert Manuel, obtenant à sa sortie un Prix d'excellence. Il participe à des pièces de boulevard, notamment Chao avec Pierre Brasseur. Il décroche le Prix d'Excellence à l'unanimité au concours de sortie du Conservatoire, mais refuse d'entrer à la Comédie Française. Il s'engage dans la troupe de Robert Hossein à Reims.
Jacques Weber débute au cinéma en 1970 dans un petit rôle de Raphaël ou le débauché (Michel Deville). Au début de sa carrière, ses cheveux poivre et sel et sa grande taille lui font incarner des rôles de séducteurs mûrs où il s'avoue peu à l'aise.
Son premier succès vient avec Etat de siège (Costa-Gravas, 1972), où il incarne un révolutionnaire uruguayen. Soldat embarqué contre son gré dans la guerre d'Algérie dans R.A.S. (Yves Boisset, 1973), il devient le comédien chargé d'incarner le double du réalisateur mettant en scène un épisode dramatique de sa vie dans Projection privée (François Leterrier, 1973).
Tournant régulièrement mais cantonné à des rôles secondaires - il est peintre pour Jocelyne Saab dans Une vie suspendue (1984), avocat pour Philippe Labro dans Rive droite, rive gauche (1984) - il ne trouve pas à l'écran l'équivalent de ses grands emplois sur scène. La consécration cinématographique arrive en 1989 lorsqu'il interprète le comte de Guiche dans Cyrano de Bergerac de Jean-Paul Rappeneau. Il se montre très convaincant face à Gérard Depardieu et remporte le César du meilleur second rôle. C'est d'ailleurs le film de Rappeneau qui lui confère la confiance qui lui manquait au cinéma. En dépit de ce succès, il ne tient qu'exceptionnellement la vedette dans les films qu'il tourne ensuite (Le Petit Garçon, Pierre Granier-Deferre, 1995), se contentant la plupart du temps du statut de solide et populaire second rôle, que ce soit dans le drame en costume Lacenaire (Francis Girod, 1990), la comédie historique (Beaumarchais, l'insolent, Edouard Molinaro, 1996) ou la pure comédie (7 ans de mariage, Didier Bourdon, 2003 ; Les Aristos, Charlotte de Turckheim, 2006 ; Odette Toulemonde, Eric-Emmanuel Schmitt, 2006 ; Les Ambitieux, Catherine Corsini, 2006 ; Sur la piste du Marsupilami, Alain Chabat, 2012...).
Il apparaît dans son propre rôle dans Le Bal des actrices (Maïwenn, 2009) et dans HH, Hitler à Hollywood (Frédéric Sojcher, 2010), et participe à l'adaptation par Gérard Mordillat du Grand retournement (2013) de l'économiste Frédéric Lordon, incarnant un banquier dans cette dénonciation sans concession du capitalisme financier.
Jacques Weber poursuit en parralèle sa carrière au théatre dont il devient rapidement une tête d'affiche très sollicitée et admirée. Dans la troupe de Robert Hossein, il interprète Crime et châtiment en 1971. En 1983, il donne plus de 200 représentations de Cyrano de Bergerac (dans le rôle de Cyrano) au théâtre Mogador. Jacques Weber s'exerce aussi à l'écriture et à la mise en scène. En 1973, il met en scène Les Fourberies de Scapin, puis La Putain respectueuse en 1977. Il signe également des "one-man-show", dont Seul sur scène qu'il interprète en 1991.
A la télévision, il est repéré au début de sa carrière dans Lancelot du lac (Claude Santelli, 1970). Parmi les nombreux téléfilms qu'il interprète, il tient le rôle titre du Comte de Monte-Cristo (Denys de La Patellière, 1979), de Bel-Ami (Pierre Cardinal, 1983) ou de Joseph l'insoumis (Caroline Glorion, 2011) où il incarne le père Wresinski, fondateur d'ATD-Quart-monde. En 1993, il est le héros de la série Antoine Ribes, juge du terrorisme. Il réalise également des émissions dont Le grand échiquier et filme des pièces de théâtre pour le petit écran, notamment Le Mariage de Figaro en 2008, avec Isabelle Adjani. En 1997, il interprète et réalise son premier film, Don Juan, d'après la pièce de Molière.
Il est nommé directeur du Théâtre du XIIIème à Lyon, puis dirige le Théâtre national de Nice de 1986 à 2001.