La tradizione vuole che già nel 300 inizi la serie dei vescovi di Acerenza con Romano, che resse la chiesa di Acerenza dal 300 al 329, sotto il pontificato di san Marcellino papa; nell'elenco seguono altri vescovi fino al 441. Tuttavia quest'elenco è ritenuto un falso, poiché la maggior parte dei nomi è di origine longobarda e perché è chiaro il tentativo di colmare la lacuna nella cronotassi e portare le origini del vescovado acheruntino al IV secolo.
Dopo Giusto non si conoscono altri vescovi, fino al 776 anno in cui sedeva sulla cattedra episcopale Leone II. Da questa data la serie dei vescovi è ininterrotta, a parte brevi periodi, e permette di conoscere anche lo sviluppo della diocesi.
Nel 799 il vescovo Leone II fece trasportare dall'antica città di Atella, in Campania, ad Acerenza il corpo di san Canio; nell'872 fu il vescovo Pietro II a far trasferire ad Acerenza le reliquie di un altro santo, san Laverio, prelevato dalla chiesa di Grumentum.
Acerenza divenne uno dei centri del conflitto tra la Chiesa d'Oriente e quella romana. Contesa fra le due metropoli ecclesiastiche di Otranto e di Salerno, Acerenza, fedele alla chiesa di Roma, nel 989 si sottrasse alla giurisdizione metropolitica di Otranto e divenne suffraganea dell'arcidiocesi di Salerno, anche se continuò ad essere influenzata da Otranto per posizione geografica, per frequenti rapporti culturali, per il monachesimo.
Il 4 maggio 1041 il vescovo di Acerenza Stefano (1029-1041), che appoggiava il catapano di Bari, morì combattendo sulle rive dell'Ofanto contro i primi Normanni che avevano conquistato la zona intorno a Melfi. In seguito a questa battaglia Acerenza fu conquistata dai Normanni e nel 1061Roberto il Guiscardo ne fece una roccaforte, rendendola un centro di difesa da rappresaglie bizantine.
Nel 1059 il vescovo Godano o Gelaldo partecipò al concilio di Melfi nel quale si distinse; per questo ottiene il titolo di arcivescovo. Questa notizia comunque non è confermata; infatti secondo altre fonti Acerenza divenne arcivescovado sotto papa Leone IX o sotto papa Niccolò II.
L'arcivescovo Arnaldo verso negli ultimi anni dell'XI secolo fece iniziare i lavori per la costruzione della cattedrale durante i quali furono ritrovate le reliquie di san Canio. Nel mese di maggio 1102 fu eletto arcivescovo Pietro al quale furono confermati i privilegi concessi ad Arnaldo.
Nel 1106papa Pasquale II scrisse all'arcivescovo Pietro per conferirgli i diritti metropolitici, assegnandogli come suffraganee le diocesi di Venosa, Gravina, Tricarico, Tursi e Potenza e l'uso del pallio nelle festività.
Nel 1203 con bolla di papa Innocenzo III Matera fu elevata a chiesa cattedrale. La bolla si espresse nel seguente modo: «Abbiamo ritenuto di stabilire una chiesa cattedrale presso Matera in modo che sia unita alla primitiva cattedra». L'unione aeque principaliter con Matera non ebbe vita facile; infatti la storia di queste due chiese è un susseguirsi di dissidi e contrasti.
Nei primi anni del Quattrocento, quando era vescovo Manfredi di Aversa (1414-1444), i materani, con l'aiuto di Giannantonio Orsini, principe di Taranto e conte di Matera, tentarono di separarsi da Acerenza, costringendo l'arcivescovo ad allontanarsi dalla sua sede, nominando vescovo un certo Marsio, frate francescano; papa Eugenio IV dapprima lasciò alla chiesa di Matera un amministratore separato, e dopo la morte di Manfredi nel 1444 ripristinò l'unione tra le due Chiese, nominando Marino De Paulis arcivescovo di Acerenza e Matera.
Nel 1471papa Sisto IV decretò che l'arcivescovo assumesse il titolo di Acerenza e Matera quando dimorava in Acerenza, e viceversa il titolo di Matera e Acerenza quando dimorava in Matera. I contrasti continuarono tanto che papa Clemente VIII stabilì che la precedenza del titolo spettava ad Acerenza, diocesi più antica, e il soggiorno dell'arcivescovo fosse a Matera, a causa della sua maggiore comodità. Il 5 novembre 1751papa Benedetto XIV, con una bolla diretta all'arcivescovo Francesco Lanfreschi, ribadì i possessi e i diritti e dell'arcidiocesi, confermando che la residenza abituale dell'arcivescovo acheruntino e materano dovesse essere Acerenza.
Il 5 agosto 1910 agli arcivescovi di Acerenza e Matera fu concesso di aggiungere il titolo di abati di Sant'Angelo di Montescaglioso[2]. Dal 1954 questo titolo sarà appannaggio degli arcivescovi di Matera.
Il 21 agosto 1976 con la bolla Quo aptius di papa Paolo VI furono soppresse le due province ecclesiastiche, e Acerenza, assieme a Matera, divenne una sede vescovile suffraganea dell'arcidiocesi di Potenza e Marsico Nuovo, contestualmente elevata a sede metropolitana.
Con la lettera della Congregazione per i vescovi del 28 novembre 1977, alla sede di Acerenza è stato restituito il titolo di arcidiocesi.
Molti arcivescovi di Acerenza sono stati elevati alla porpora cardinalizia.
Guy de Pernes, O.S.B.Clun. † (6 settembre 1303 - 13 novembre 1306 nominato vescovo di Toul) (amministratore apostolico)
Landolfo (o Rudolfo), O.P. † (12 agosto 1307 - 6 novembre 1307 deceduto)
Roberto II, O.P. † (18 agosto 1308 - 1334 deceduto)
Pietro VII † (4 luglio 1334 - 1342 o 1343 deceduto)
Giovanni Corcello † (29 gennaio 1343 - circa 1363 deceduto)
Bartolomeo Prignano † (22 marzo 1363 - 13 gennaio 1377 nominato arcivescovo di Bari, poi eletto papa con il nome di Urbano VI)Lapide in memoria di Antonio Maria Brancaccio nel duomo di Matera
Niccolò Acconciamuro † (8 aprile 1377 - 5 novembre 1378 nominato arcivescovo di Bari)
Obbedienza avignonese:
Giacomo di Silvestro † (7 febbraio 1379 - ? deceduto)
