Nato a Hartmannsdorf vicino a Kirchberg in Sassonia, Graupner ricevette la sua prima educazione musicale da suo zio, un organista di nome Nicolaus Kuester. Graupner studiò legge all'Università di Lipsia, come molti compositori dell'epoca usavano fare, e completò i propri studi musicali con
Johann Kuhnau, il kantor della Thomaskirche (chiesa di san Tommaso).
Nel 1705 Graupner lasciò Lipsia per suonare il clavicembalo nell'orchestra dell'Oper am Gänsemarkt di Amburgo, diretta da
Reinhard Keiser, insieme a un violinista di nome Händel. Oltre a suonare il clavicembalo, ad Amburgo compose sei opere, alcune di esse con la collaborazione di Keiser, che all'epoca, in Germania, era un noto operista.
Nel 1709 Graupner accettò un posto alla corte del Langravio di Assia-Darmstadt, e nel 1711 divenne Hofkapellmeister (maestro di cappella di corte). Graupner trascorse il resto della sua carriera alla corte di Assia-Darmstadt, dove il suo compito principale era quello di comporre musica per la cappella di corte. Scrisse musica per circa mezzo secolo, dal 1709 fino al 1754, anno in cui divenne cieco. Morì sei anni dopo.
Graupner, involontariamente, ebbe un ruolo chiave nella storia della musica. La situazione precaria delle finanze pubbliche di Darmstadt, causò una riduzione delle attività musicali: il teatro dell'opera venne chiuso, e i salari di molti musicisti di corte (tra cui Graupner) erano in arretrato. Dopo molti tentativi per farsi pagare, con una moglie e dei figli da mantenere, nel 1723 Graupner mirò al posto di Kantor a Lipsia. Telemann era stato il favorito per il conferimento di quella carica, ma si era ritirato dopo essersi assicurato un aumento di stipendio ad Amburgo. Il brano che Graupner presentò all'"audizione" per il posto di Kantor, un Magnificat, composto nello stile del suo maestro e mentore
Kuhnau, gli assicurò il conferimento del titolo. Tuttavia, il suo mecenate
Ernesto Luigi d'Assia-Darmstadt non volle assolverlo dal contratto. Il salario arretrato del musicista fu pagato, e il suo stipendio venne aumentato; inoltre, avrebbe potuto continuare a lavorare sebbene la sua “Kapelle” fosse stata dismessa. Con delle condizioni così favorevoli, Graupner rimase a Darmstadt, favorendo Bach nel concorso che lo avrebbe portato a diventare “Kantor” di Lipsia. Appena seppe che Bach aveva ottenuto il posto, il 4 maggio 1723, Graupner scrisse una lettera al comune di Lipsia affermando che Bach "è un musicista tanto abile all'organo quanto è esperto nel comporre musica sacra e brani a cappella" ed un uomo che "avrebbe svolto onestamente e adeguatamente gli incarichi affidatigli"
Graupner fu un compositore molto prolifico. Ci sono pervenuti circa 2.000 lavori del suo catalogo, tra cui 113 sinfonie, 85 ouverture (suite), 44 concerti, 8 opere, 1.418 cantate sacre e 24 cantate profane, 66 sonate e 40 partite per clavicembalo Quasi tutti i manoscritti di Graupner si trovano nell'ULB (biblioteca universitaria) a Darmstadt, Germania.
Graupner scrisse per combinazioni strumentali insolite, richiedendo parti per oboe d'amore, flauto d'amore, e viola d'amore. Più della metà delle sue sinfonie richiedono ottoni e timpani, con circa 25 sinfonie che presentano da 3 a 4 timpani, una (sinfonia in sol maggiore GWV 611) che ne vuole 5, e un'altra, sinfonia in fa maggiore (GWV 566), è composta per ben 6 timpani.
Dopo la sua morte Graupner venne dimenticato, per varie ragioni. I suoi manoscritti divennero oggetto di una battaglia legale tra i suoi eredi e i governanti di Assia-Darmstadt. La sentenza finale del processo negò la proprietà ai Graupner. Gli eredi non riuscirono ad ottenere i permessi per far pubblicare i suoi lavori, che rimasero, pertanto, inaccessibili ai musicisti e al pubblico. L'interesse nei confronti della sua produzione artistica, pertanto, calò drasticamente, anche a causa del cambiamento del gusto musicale. D'altro canto, i manoscritti in possesso del Langravio si conservarono in toto. La sorte non fu altrettanto clemente nei confronti dei lavori di Bach, di cui una buona parte è andata perduta. Un altro fattore che contribuì all'oscurità postuma di Graupner era la scarsità dei suoi allievi (si ricorda in particolare
Johann Friedrich Fasch), che impedì alla sua eredità musicale di essere portata avanti anche dopo la sua dipartita. Come ha affermato il critico David Vernier, Graupner è "una delle sfortunate vittime del destino e della circostanza – contemporaneo di Bach, Handel, Telemann, etc.. che è rimasto largamente –e ingiustamente-- dimenticato."
La musica di Graupner sta attraversando un periodo di riscoperta, dovuto in gran parte alle ricerche e agli sforzi di molti musicologi, interpreti e direttori d'orchestra.
Gli studi iniziarono a partire dall'inizio del XX secolo, con il lavoro di Willibald Nagel sulle sinfonie di Graupner. Negli anni venti, Friedrich Noack pubblicò la sua ricerca sulle cantate di Graupner. La casa editrice Baerenreiter pubblicò varie sinfonie ed ouverture negli anni cinquanta. Nei primi anni ottanta, Myron Rosenblum pubblicò quattro sinfonie per il massiccio lavoro di Barry Brook "The Symphony, 1720-1840: A Comprehensive Collection of Full Scores" (New York: Ed.Garland, 1979–85), 60 volumi. Nel 1988 si ebbe la pubblicazione dello studio di Oswald Bill su Graupner, con numerosi articoli di studiosi quali Peter Cahn (per quanto riguarda la parte delle sinfonie), Joanna Cobb Biermann (musicisti e stipendi a Darmstadt), come anche documenti sulla vita di corte a Darmstadt. Tre dissertazioni furono molto importanti ai fini della ricerca su Graupner: lo studio di H. Cutler Fall sulle cantate composte per il Tempo di Passione, quello di Rene Schmidt sulle cantate di Natale, e, per finire, la ricerca di Vernon Wicker sulle cantate per solo basso. Christoph Grosspietsch ha pubblicato un ampio studio sulle ouverture di Graupner nel 1994.
Nonostante tutte queste ricerche, fino al 1998 c'erano pochissime registrazioni a disposizione del grande pubblico. In quell'anno Hermann Max incise un CD con musica di Graupner con l'etichetta CPO. La clavicembalista di Montréal Geneviève Soly venne a contatto con un manoscritto di Graupner nella Beinecke Library dell'Università di Yale nel 2000 e ha iniziato ad eseguire e registrare i suoi lavori. Graupner, secondo lei, era "sempre all'avanguardia rispetto al tempo in cui è vissuto ed era molto innovativo nelle idee armoniche, nella notazione, e nell'uso degli strumenti ". Soly ha asserito, inoltre, che "Bisogna tenere in considerazione i suoi vari stili in relazione al periodo corrente e alle idee che egli era interessato a sviluppare in quel momento. La dimensione del catalogo ha creato delle difficoltà in questo senso, perché un altro compositore potrebbe aver operato così a lungo, ma con uno stile costante. Viene da pensare a Mozart: sebbene abbia composto per un periodo più breve, il suo stile era sempre ben definito."
Nell'aprile del 2005 è stato pubblicato un catalogo tematico della musica strumentale di Graupner (editori: Oswald Bill e Christoph Grosspietsch) da parte della casa editrice Carus Music. È ancora da attuare il progetto di catalogare la musica vocale di Graupner. Nel 2010, Florian Heyerick (direttore d'orchestra belga) ha pubblicato un catalogo online dei lavori strumentali e vocali di Graupner.
