Jean-Pierre Marielle s'inscrit au cours d'art dramatique de la rue Blanche. Il entre ensuite au Conservatoire. Il débute comme stagiaire à la Comédie-Française puis joue dans des théâtres de la rive gauche. Il est engagé par la compagnie Grenier-Hussenot lorsqu'il fait ses débuts à l'écran.
D'un physique imposant, avec une voix de basse, Jean-Pierre Marielle est tout sauf un jeune premier lorsqu'il débute dans un film d'Henri Decoin, Tous peuvent me tuer (1957). Peu regardant à ses débuts sur la qualité des scénarios, il enchaîne une quantité de rôles de second plan qui contribuent à sa réputation de comique. Jean-Pierre Marielle excelle dans la caricature lorsqu'il interprète des personnages burlesques et truculents. Il lui faut attendre une dizaine d'années avant que des réalisateurs plus ambitieux lui permettent d'exprimer d'autres facettes de son talent comme dans L'Amour c'est gai, l'amour c'est triste (Jean-Daniel Pollet, 1968) ou Le Diable par la queue (Philippe de Broca, 1968).
Il devient une vedette à part entière dans les années 70, dirigé par les grands réalisateurs que compte alors le cinéma français. On peut retenir ses rôles dans Comment réussir quand on est con et pleurnichard (Audiard, 1973), La Valise (Lautner, 1974), Que la fête commence (Tavernier, 1974), Dupont Lajoie (Yves Boisset, 1974), Les Galettes de Pont-Aven (Joël Séria, 1975), On aura tout vu (Lautner, 1976) ou encore Cause toujours, tu m'intéresses! (Molinaro, 1978).
Tout en continuant sa carrière d'acteur excentrique, il parvient plus régulièrement à interpréter des rôles nuancés. Il se plaît à camper des personnages ambigus ou désespérés : un des frères de Coup de torchon de Bertrand Tavernier (1981), le flic désabusé et suicidaire des Mois d'avril sont meurtriers de Laurent Heynemann (1986). Il incarne avec sobriété l'intransigeant et austère Sainte-Colombe de Tous les matins du monde d'Alain Corneau (1991) ou l'homosexuel suicidaire du Parfum d'Yvonne de Patrice Leconte (1993).
Sa prestation dans Max et Jérémie (Claire Devers, 1992) lui vaut d'être nommé pour le César du Meilleur second rôle. En 1995, il est à l'affiche de la comédie Les grands Ducs de Patrice Leconte, aux côtés de Philippe Noiret et Jean Rochefort, tous trois dans des rôles d'acteurs vieillissants et tentant de reprendre du service. Dans L'Élève, un film passé inaperçu et signé par Olivier Schatzky (1996), l'acteur livre cependant une belle performance en incarnant un notable de la fin du XVIIIe, flambeur, mesquin et arrogant. Jean-Pierre Marielle se soucie peu de son image mais depuis les années 70, il est pourtant devenu l'un des très grands acteurs du cinéma français, capable de jouer tous les registres, et de plus très aimé du public.
A l'orée des années 2000, avançant en âge, Jean-Pierre Marielle est toujours à l'affiche d'au moins un ou deux films par an et continue d'alterner entre films d'auteurs et films plus "grand public". On retiendra son rôle dans l'adaptation du roman de Philippe Claudel, Les Ames grises par Yves Angelo (2004) ; l'acteur y incarne la figure sombre et ambiguë du procureur Destinat. On le retrouve dans une autre adaptation, boudée par la critique, celle du Grand Meaulnes par Jean-Daniel Verhaeghe (2005) où il campe un Monsieur de Galais convaincant. La même année il est au casting de la superproduction Da Vinci Code de Ron Howard, dans le petit rôle d'un conservateur du Louvre, mais qui finit vite assassiné.
Dans Ce que mes yeux ont vu (Laurent de Bartillat, 2006) Jean-Pierre Marielle est cette fois professeur d'histoire de l'art, spécialiste de Watteau. La même année il campe le premier rôle de la comédie de Noémie Lvovsky, Faut que ça danse !, il y excelle dans la figure de patriarche d'une famille déjantée. Dans la comédie enjouée Pièce montée (Denys Granier-Deferre, 2009), il officie en la personne d'un curé haut en couleurs. Jean-Pierre Marielle redonne dans la comédie populaire avec son rôle dans Les Seigneurs d'Olivier Dahan (2011).
Jean-Pierre Marielle joue également dans de nombreuses réalisations pour la télévision. Il mène en parallèle une carrière théâtrale intense, interprétant les classiques tout autant que les contemporains ; il reçoit en 1994 le Molière du Meilleur comédien.
Courts métrages 1974 | T'es fou Marcel | Jean Rochefort |
| 2006 | Alain Corneau, du noir au bleu | Grégory Marouzé |
Longs métrages| 1957 | Charmants garçons | Henri Decoin |
| 1957 | Fernand clochard | Pierre Chevalier |
| 1957 | Grand bluff (Le) | Patrice Dally |
| 1957 | Tous peuvent me tuer | Henri Decoin |
| 1960 | Brune que voilà (La) | Robert Lamoureux |
| 1960 | Mouton (Le) | Pierre Chevalier |
| 1960 | Pierrot la tendresse | François Villiers |
| 1961 | Climats | Stellio Lorenzi |
| 1963 | Animaux (Les) | Frédéric Rossif |
| 1963 | Dragées au poivre | Jacques Baratier |
| 1963 | Faites sauter la banque ! | Jean Girault |
| 1963 | Peau de banane | Marcel Ophuls |
| 1963 | Que personne ne sorte | Yvan Govar |
| 1964 | Bonne occase (La) | Michel Drach |
| 1964 | Cent briques et des tuiles | Pierre Grimblat |
| 1964 | Echappement libre | Jean Becker |
| 1964 | Relaxe-toi, chérie | Jean Boyer |
| 1964 | Un monsieur de compagnie | Philippe de Broca |
| 1964 | Week-end à Zuydcoote | Henri Verneuil |
| 1965 | Dix-septième ciel (Le) | Serge Korber |
| 1965 | Monnaie de singe | Yves Robert |
| 1966 | Homme à la Buick (L') | Gilles Grangier |
| 1966 | Roger la Honte | Riccardo Freda |
| 1966 | Tendre voyou | Jean Becker |
| 1966 | Toutes folles de lui | Norbert Carbonnaux |
| 1968 | Amour c'est gai, l'amour c'est triste (L') | Jean-Daniel Pollet |
| 1968 | Diable par la queue (Le) | Philippe de Broca |
| 1968 | Quarante-huit heures d'amour | Cécil Saint-Laurent |
| 1968 | Slogan | Pierre Grimblat |
| 1969 | Caprices de Marie (Les) | Philippe de Broca |
| 1969 | Femmes (Les) | Jean Aurel |
| 1969 | Pistonné (Le) | Claude Berri |
| 1970 | Mariés de l'an II (Les) | Jean-Paul Rappeneau |
| 1970 | On est toujours trop bon avec les femmes | Michel Boisrond |
| 1971 | Quattro mosche di velluto grigio Quatre mouches de velours gris | Dario Argento |
| 1971 | Sans mobile apparent | Philippe Labro |
| 1972 | Petit Poucet (Le) | Michel Boisrond |
| 1972 | Sex shop | Claude Berri |
| 1973 | Affaire Crazy Capo (L') | Patrick Jamain |
| 1973 | Charlie et ses deux nénettes | Joël Séria |
| 1973 | Comment réussir quand on est con et pleurnichard | Michel Audiard |
| 1973 | Valise (La) | Georges Lautner |
| 1974 | Dis-moi que tu m'aimes | Michel Boisrond |
| 1974 | Dupont Lajoie | Yves Boisset |
| 1974 | Que la fête commence | Bertrand Tavernier |
| 1974 | Un linceul n'a pas de poches | Jean-Pierre Mocky |
| 1975 | Calmos | Bertrand Blier |
| 1975 | Galettes de Pont-Aven (Les) | Joël Séria |
| 1975 | Traque (La) | Serge Leroy |
| 1976 | Cours après moi que je t'attrape | Robert Pouret |
| 1976 | On aura tout vu | Georges Lautner |
| 1976 | Sturmtruppen Le Bataillon en folie | Salvatore Samperi |
| 1977 | Comme la lune | Joël Séria |
| 1977 | Imprécateur (L') | Jean-Louis Bertuccelli |
| 1977 | Plus ça va, moins ça va | Michel Vianey |
| 1977 | Un moment d'égarement | Claude Berri |
| 1978 | Cause toujours, tu m'intéresses | Edouard Molinaro |
| 1979 | Entourloupe (L') | Gérard Pirès |
| 1980 | Asphalte | Denis Amar |
| 1980 | Voulez-vous un bébé Nobel ? | Robert Pouret |
| 1981 | Coup de torchon | Bertrand Tavernier |
| 1981 | Jamais avant le mariage | Daniel Ceccaldi |
| 1981 | Pétrole, pétrole | Christian Gion |
| 1982 | Indiscrétion (L') | Pierre Lary |
| 1983 | Signes extérieurs de richesse | Jacques Monnet |
| 1984 | Amour en douce (L') | Edouard Molinaro |
| 1984 | Partenaires | Claude d' Anna |
| 1985 | Hold-up | Alexandre Arcady |
| 1986 | Mois d'avril sont meurtriers (Les) | Laurent Heynemann |
| 1986 | Tenue de soirée | Bertrand Blier |
| 1987 | Deux crocodiles (Les) | Joël Séria |
| 1987 | Quelques jours avec moi | Claude Sautet |
| 1990 | Uranus | Claude Berri |
| 1991 | Tous les matins du monde | Alain Corneau |
| 1992 | Max et Jérémie | Claire Devers |
| 1992 | Un deux trois soleil | Bertrand Blier |
| 1993 | Parfum d'Yvonne (Le) | Patrice Leconte |
| 1993 | Sourire (Le) | Claude Miller |
| 1994 | Les Milles | Sébastien Grall |
| 1995 | Grands ducs (Les) | Patrice Leconte |
| 1996 | Elève (L') | Olivier Schatzky |
| 1999 | Acteurs (Les) | Bertrand Blier |
| 1999 | Une pour toutes | Claude Lelouch |
| 2002 | Claude Sautet ou la magie invisible | N.T. Binh |
| 2002 | Petite Lili (La) | Claude Miller |
| 2003 | Atomik circus | Didier Poiraud, Thierry Poiraud |
| 2003 | Demain, on déménage | Chantal Akerman |
| 2004 | Ames grises (Les) | Yves Angelo |
| 2005 | Da Vinci Code (The) | Ron Howard |
| 2005 | Grand Meaulnes (Le) | Jean-Daniel Verhaeghe |
| 2006 | Ce que mes yeux ont vu | Laurent de Bartillat |
| 2006 | Faut que ça danse ! | Noémie Lvovsky |
| 2006 | Ratatouille | Brad Bird |
| 2008 | Micmacs à tire-larigot | Jean-Pierre Jeunet |
| 2009 | Pièce montée | Denys Granier-Deferre |
| 2009 | Rondo | Olivier Van Malderghem |
| 2010 | Apprenti Père Noël (L') | Luc Vinciguerra |
| 2011 | Fleur de l'âge (La) | Nick Quinn |
| 2011 | Seigneurs (Les) | Olivier Dahan |
| 2012 | Max | Stéphanie Murat |
| 2013 | Tu veux ou tu veux pas | Tonie Marshall |
| 2014 | Une heure de tranquillité | Patrice Leconte |