Joe Pesci débute à l'âge de quatre ans dans une émission musicale. Après une carrière de chanteur-compositeur, il apparaît pour la première fois au cinéma en tant que guitariste du groupe Joey Dee and the Starliters dans le film Le Twist est roi (Greg Garrison, 1961).
Révélé par Martin Scorsese, rendu populaire par une énergie de pile électrique dans nombre de comédies à succès, Joe Pesci est un des grands seconds rôles du cinéma américain des années 1980-1990. Martin Scorsese remarque Joe Pesci dans The Death Collector (1976) de Ralph De Vito et lui confie le rôle de Joe La Motta, le frère et souffre-douleur du boxeur Jake La Motta (Robert De Niro) dans Raging Bull (1980). Cette collaboration, qui vaut à Pesci une nomination à l'Oscar du second rôle, est rééditée à deux reprises : Les Affranchis (1990), où son rôle de mafieux psychopathe lui permet de décrocher l'Oscar, et, sur un registre très proche, Casino (1995). Robert De Niro, son partenaire chez Scorsese (mais aussi chez Sergio Leone, Pesci tenant un rôle secondaire dans Il était une fois en Amérique, 1984), lui offre à son tour un petit rôle dans sa première mise en scène, Il était une fois le Bronx (1993). On remarque aussi Joe Pesci parmi les comploteurs fomentant l'assassinat du président Kennedy dans le JFK d'Oliver Stone (1991).
Au moins autant que ces personnages peu recommandables en lien avec la mafia qu'il prolonge jusque face à Michael Jackson dans Moonwalker (Jerry Kramer, Jim Blashfield, 1988), ce sont sa faconde et son énergie comique qui valent à Joe Pesci la reconnaissance du public. Il doit cette notoriété en particulier au rôle de Leo Getz, l'indispensable informateur de Mel Gibson et de Danny Glover dans trois volets de la saga L' Arme fatale (les numéros 2, 3 et 4), réalisés par Richard Donner en 1989, 1991 et 1997. Le cambrioleur inepte de Maman, j'ai raté l'avion (Chris Columbus, 1990) et Maman, j'ai encore raté l'avion (Chris Columbus, 1992) confirment sa popularité dans des comédies familiales. Abonné aux seconds rôles, le comédien a moins de succès en vedette (The Super, Rod Daniel, 1991; L'Oeil public, Howard Franklin, 1992 ; Jimmy Hollywood, Barry Levinson, 1995 ; Huit têtes dans un sac, Tom Schulman, 1995) : seul Mon cousin Vinny (Jonathan Lynn, 1991) où il interprète un avocat raté, obtient un vif succès.
Alors qu'il semblait avoir abandonné sa carrière après L'Arme fatale 4, il accepte, après neuf ans loin des écrans, de faire une apparition dans la seconde mise en scène de son compère Robert De Niro, Raisons d'état, en parrain de la mafia... Il faut encore attendre quatre ans pour le retrouver en époux de Helen Mirren, patronne du premier bordel du Nevada, dans la comédie dramatique Love Ranch de Taylor Hackford (2010).
Joe Pesci a incarné un détective privé pour la télévision dans la série Half Nelson (1985). Il a aussi participé aux Contes de la crypte en 1992.