Adolescent, Jean-Pierre Kalfon part à l'aventure et frôle la délinquance. Sur la route, il s'essaie à la batterie, rencontre un décorateur et entre dans une école de dessin. Là, il est entraîné à des cours de théâtre par un camarade. Au théâtre, il rencontre un danseur qui l'héberge et l'engage. Il passe cinq mois aux Folies-Bergère comme danseur. Il suit les cours de Charles Dullin, participe au TNP puis s'engage dans un théâtre plus underground (celui de Marc'O notamment) et fonde la Compagnie du théâtre 15. Dommage qu'elle soit une putain, de John Ford, est sa première mise en scène.
Figure marquante de la contre-culture des années 1960, Jean-Pierre Kalfon n'a jamais renié ce passé avant-gardiste, rock et dandy qui l'a amené à tourner avec tout ce que le cinéma français moderne compte d'auteurs, de Godard à Garrel en passant par Rivette ou Truffaut. Après avoir participé sans succès à un premier film, Le Septième Jour de Saint-Malo (Paul Mesnier, 1959), Jean-Pierre Kalfon débute véritablement au cinéma en 1964, quand Claude Lelouch lui offre un petit rôle de gangster dans Une fille et des fusils. Metteur en scène de théâtre dont le couple se brise dans L'Amour fou (1967) de Jacques Rivette, il est choisi par Jean-Luc Godard pour jouer le leader révolutionnaire de la Seine-et-Oise - dont le groupe enlève et dévore les Parisiens qui tentent de quitter la ville - pour le conte apocalyptique qu'est Week-end (1967).
Après son rôle de Simon le magicien dans la version cinéma des très iconoclastes Idoles de Marc'O (1968), aux côtés de Bulle Ogier, Pierre Clémenti et tant d'autres, l'acteur véhicule une image de hippie qu'il développe dans Le Lit de la vierge (1969) de Philippe Garrel puis dans La Vallée (1971) de Barbet Schroeder.
Passé la quarantaine, Jean-Pierre Kalfon s'illustre dans des rôles plus divers, devenant un des salauds de prédilection de nombreux polars comme La Guerre des polices (Robin Davis, 1979), La Femme flic (Yves Boisset, 1979) ou Une étrange affaire (Pierre Granier-Deferre, 1981) mais également dans des comédies (Le Jumeau, Yves Robert, 1984). Il met en avant son profil aquilin en collaborateur omnipotent dans Le Bon et les Méchants (1975) du fidèle Claude Lelouch (ils tourneront sept fois ensemble) ou en mentor fasciste dans Liberty Belle (1982) de Pascal Kané. Il a aussi à son actif une galerie de personnages marginaux. Si le punk de Rue Barbare (1983) de Gilles Béhat n'a pas grand-chose à voir avec le rockeur raté de L'Amour ou presque (1985) de Patrice Gautier, ces deux personnages, plus frimeurs que méchants, zonent, perdus.
A rebours de cet emploi, Claude Chabrol lui offre le personnage du commissaire du Cri du hibou (1986). A deux reprises, Kalfon endosse par ailleurs la soutane (Les Uns et les Autres, 1980, de Claude Lelouch ; Vivement dimanche, 1982, de François Truffaut). Entre les deux, il participe à une production Disney (Condorman, Charles Jarrott, 1981) avant de tenir le rôle masculin principal du Déclic (Jean-Louis Richard, 1985), adaptation de la BD érotique de Manara où il incarne un médecin ayant inventé un appareil pour déclencher à distance l'excitation sexuelle d'une jeune femme... Ce rôle lui vaut peut-être de devenir la voix-off rocailleuse et virile du narrateur de la fameuse Série rose de M6 de 1986 à 1991.
Les années 1990 ne lui permettent guère de trouver rôles et films à sa mesure et il faut attendre Saint-Cyr de Patricia Mazuy (2000) pour le redécouvrir dans une composition inattendue : il y est en effet un Louis XIV vieillissant, ce qui lui vaut une nomination aux Césars. Il retrouve un rôle de méchant de premier plan dans le très violent Total western d'Eric Rochant (2000) puis devient un très chic metteur en scène dans La Répétition (Catherine Corsini, 2001) et un grand patron cynique dans La Question humaine (Nicolas Klotz, 2006). Il est ensuite, devant la caméra de Samuel Benchétrit et, en compagnie de Jean Rochefort et Laurent Terzieff, l'un des cinq papis qui rêvent d'un braquage de banque et se contentent d'un MacDo dans J'ai toujours rêvé d'être un gangster (2007). Autant d'occasions pour lui de rappeler l'éclectisme de son talent et de sa carrière.
Dans le journal Libération du 24 avril 1990, il confiait d'ailleurs que "cet éclectisme, c'est [sa] vraie nature".
Entre deux longs séjours à l'étranger dans les années 70 (New York et le Brésil) au cours desquels il fait entre autres de la musique avec Bob Marley, Jean-Pierre Kalfon joue au théâtre, tourne des téléfilms et chante dans des groupes de rock, cette carrière musicale prenant même un temps le dessus sur ses autres activités, en particulier lorsqu'il enregistre l'album Black minestrone (1993).
Sur les planches, il interprète tour à tour Tchekhov, Racine, Shakespeare et Brecht. Il s'illustre aussi dans des comédies plus légères comme Danger, amour (1985) au théâtre Grévin avec Véronique Genest. Il tourne beaucoup pour la télévision, téléfilms et surtout épisodes de séries populaires telles Marie Pervenche, Coplan, Commissaire Moulin, Navarro, Alice Nevers, le juge est une femme... Il tient aussi des rôles secondaires mais récurrents dans La Rivière Espérance, Sandra princesse rebelle, Vénus et Apollon ou Mafiosa.
Courts métrages 1963 | Miss à Raoul (La) | Claude Goretta |
| 1966 | Je ne sais pas | Gérard Pirès |
| 1968 | Révolution n’est qu’un début : Continuons le combat (La) | Pierre Clémenti |
| 1978 | Retour du privé (Le) | Takis P. Candilis |
| 1984 | Femme fidèle (La) | Dominique Maillet |
| 1986 | Hughie | Frédéric Compain |
| 1987 | Demain peut-être | Philippe Nessler |
| 1987 | Vampire et le lapin (Le) | Boris Bergman |
| 2003 | Manian (Le) | Frédéric Jolfre |
Longs métrages| 1978 | Coup du singe (Le) | Ode Bitton, Jean-Pierre Kalfon |
| 1978 | Coup du singe (Le) | Ode Bitton, Jean-Pierre Kalfon |
| 1979 | Chroniques du temps présent = New old (Les) | Pierre Clémenti |
| 1959 | Septième jour de Saint-Malo (Le) | Paul Mesnier |
| 1963 | Drogue du vice = Le Concerto de la peur (La) | José Bénazéraf |
| 1964 | Et la femme créa l'amour | Fabien Collin |
| 1964 | Femme spectacle (La) | Claude Lelouch |
| 1964 | Une fille et des fusils | Claude Lelouch |
| 1965 | Bargasses (Les) | Marc'O |
| 1965 | Grands moments (Les) | Claude Lelouch |
| 1965 | Longue marche (La) | Alexandre Astruc |
| 1966 | Désordre a vingt ans (Le) | Jacques Baratier |
| 1966 | Mamaia | José Varela |
| 1966 | Mon amour, mon amour | Nadine Trintignant |
| 1966 | Safari diamants | Michel Drach |
| 1967 | Amour fou (L') | Jacques Rivette |
| 1967 | Gauloises bleues (Les) | Michel Cournot |
| 1967 | Idoles (Les) | Marc'O |
| 1967 | Oiseaux vont mourir au Pérou (Les) | Romain Gary |
| 1967 | Week-end | Jean-Luc Godard |
| 1968 | Bande à Bonnot (La) | Philippe Fourastié |
| 1968 | Paul | Diourka Medveczky |
| 1968 | Souvenirs souvenirs | Pierre Clémenti |
| 1969 | Lit de la vierge (Le) | Philippe Garrel |
| 1969 | Maître du temps (Le) | Jean-Daniel Pollet |
| 1970 | Cicatrice intérieure (La) | Philippe Garrel |
| 1970 | Jupiter | Jean-Pierre Prévost |
| 1971 | Gants blancs du diable (Les) | Laszlo Szabo |
| 1971 | Vallée (La) | Barbet Schroeder |
| 1972 | George qui ? | Michèle Rosier |
| 1974 | Un ange passe | Philippe Garrel |
| 1974 | Zig-zig | Laszlo Szabo |
| 1975 | Bon et les méchants (Le) | Claude Lelouch |
| 1976 | Apprenti salaud (L') | Michel Deville |
| 1976 | Apprentis sorciers (Les) | Edgardo Cozarinsky |
| 1976 | Si c'était à refaire | Claude Lelouch |
| 1977 | Chanson de Roland (La) | Frank Cassenti |
| 1978 | Coup du singe (Le) | Ode Bitton, Jean-Pierre Kalfon |
| 1979 | Femme flic (La) | Yves Boisset |
| 1979 | Guerre des polices (La) | Robin Davis |
| 1979 | Nous nous sommes rencontrés dans un autre rêve | Alain Schwartzstein |
| 1980 | Allons z'enfants | Yves Boisset |
| 1980 | Condorman | Charles Jarrott |
| 1980 | Dogs of War (The) Les Chiens de guerre | John Irvin |
| 1980 | Uns et les autres (Les) | Claude Lelouch |
| 1981 | Chassé-croisé | Arielle Dombasle |
| 1981 | Jetzt und alles | Dieter Meier |
| 1981 | Mille milliards de dollars | Henri Verneuil |
| 1981 | Nestor Burma détective de choc | Jean-Luc Miesch |
| 1981 | Une étrange affaire | Pierre Granier-Deferre |
| 1982 | Femme ivoire (La) | Dominique Cheminal |
| 1982 | Hécate | Daniel Schmid |
| 1982 | Liberty Belle | Pascal Kané |
| 1982 | Vivement dimanche ! | François Truffaut |
| 1983 | Amour par terre (L') | Jacques Rivette |
| 1983 | Canicule | Yves Boisset |
| 1983 | Laisse béton | Serge Le Péron |
| 1983 | Rue Barbare | Gilles Béhat |
| 1984 | Déclic (Le) | Jean-Louis Richard |
| 1984 | Jumeau (Le) | Yves Robert |
| 1984 | Nuit porte-jarretelles (La) | Virginie Thévenet |
| 1985 | A l'ombre de la canaille bleue | Pierre Clémenti |
| 1985 | Amour ou presque (L') | Patrice Gautier |
| 1987 | Cri du hibou (Le) | Claude Chabrol |
| 1987 | Funny boy | Christian Le Hémonet |
| 1987 | Sécurité publique | Gabriel Benattar |
| 1987 | Septième ciel | Jean-Louis Daniel |
| 1987 | Vent de panique | Bernard Stora |
| 1988 | Corps z'à corps | André Halimi |
| 1991 | Et demain... Hollywood | Jean-François Villemer |
| 1994 | Cent et une nuits (Les) | Agnès Varda |
| 1994 | Dieu, l'amant de ma mère et le fils du charcutier | Aline Issermann |
| 1996 | Jour et la nuit (Le) | Bernard-Henri Levy |
| 1997 | Folle d'elle | Jérôme Cornuau |
| 1997 | L.A. without a Map I love L.A. | Mika Kaurismäki |
| 1998 | Vie ne me fait pas peur (La) | Noémie Lvovsky |
| 1999 | Saint-Cyr | Patricia Mazuy |
| 1999 | Total western | Eric Rochant |
| 2000 | Gamer | Zak Fishman |
| 2000 | Répétition (La) | Catherine Corsini |
| 2001 | Lulu | Jean-Henri Roger |
| 2002 | Baigneuses (Les) | Viviane Candas |
| 2002 | Dreamers (The) Innocents | Bernardo Bertolucci |
| 2003 | Ne fais pas ça ! | Luc Bondy |
| 2004 | Asylum | Olivier Château |
| 2004 | Code 68 | Jean-Henri Roger |
| 2005 | Suzanne | Viviane Candas |
| 2006 | American vertigo | Michko Netchak |
| 2006 | Dans les cordes | Magaly Richard-Serrano |
| 2006 | Parc | Arnaud des Pallières |
| 2006 | Question humaine (La) | Nicolas Klotz |
| 2006 | Vie d'artiste (La) | Marc Fitoussi |
| 2007 | J'ai toujours rêvé d'être un gangster | Samuel Benchetrit |
| 2010 | Chat du rabbin (Le) | Joann Sfar, Antoine Delesvaux |
| 2012 | Je m'appelle hmmm... | Agnès Troublé |
| 2014 | Ce sentiment de l'été | Mikhaël Hers |