La nascita della Biblioteca Comunale risale ai primi anni del Regno d'Italia quando, in conseguenza della legge che stabilì la soppressione di alcuni ordini religiosi e l'incameramento dei beni ecclesiastici, lo Stato cedette all'amministrazione di Trani la preziosa biblioteca del Convento dei Domenicani. La Biblioteca fu inaugurata ufficialmente il 23 aprile 1870 e fu stanziata la somma di duecento lire per l'acquisto di libri e di quant'altro occorresse per il funzionamento della Biblioteca stessa.
Nell'ultimo trentennio del secolo il patrimonio librario, che all'inizio era stato di sole poche centinaia di volumi, si arricchì notevolmente, non tanto per gli acquisti, fatti con il fondo annuo stanziato dal comune, quanto per le numerose donazioni. La Biblioteca fu provvisoriamente sistemata in una sala del palazzo di città, ma non c'era nessuno impiegato che vi provvedesse con incarico specifico. L'urgenza di dare una sistemazione al complesso bibliografico spinse l'Amministrazione Comunale ad affidare la direzione della biblioteca a una persona ritenuta competente ( fu scelto il direttore Maffia) e le funzioni di bibliotecario all'economo del Comune. La scarsa affluenza di pubblico, tuttavia, sembrava frustrare le buone intenzioni dell'Autorità Comunale.

Dopo la parentesi dovuta alla prima guerra mondiale, nel gennaio 1921 l'Amministrazione ribadì la volontà di dare alla città una biblioteca rispondente ai riconosciuti bisogni culturali della collettività e deliberò di costituire un Comitato per suggerire le opportune provvidenze e per migliorare la struttura e l'efficienza. Si rinnovò parte dell'arredamento, si sistemò il servizio di illuminazione, si incrementò il patrimonio per colmare le lacune riscontrate nelle raccolte e per dotare la biblioteca di pubblicazioni recenti.

La Biblioteca ebbe il suo giornale, "Il bollettino di cultura e bibliografia varia", nato con il disegno di manifestare le grandi correnti del pensiero moderno e di indicare con brevi recensioni le pubblicazioni più interessanti.

Il 1924 fu un anno importante per la vita della Biblioteca. La biblioteca fu trasferita nel Palazzo Vischi, fu dotata di nuova scaffalatura e di tavoli per la lettura.

Nel periodo del fascismo il patrimonio bibliografico, anche se si era arricchito ulteriormente, in conseguenza di numerose donazioni di cittadini, non sortì l'effetto sperato: l'incremento librario non si rivelò sufficiente ad attirare i giovani e a rendere la Biblioteca attiva.

Nel 1928 la Biblioteca venne intitolata a Giovanni Bovio, filosofo e uomo politico tranese, quando, grazie alle donazioni D'Agli, Vischi, Giuliani e Scocchera, il patrimonio librario raggiunse le 14741 unità, che nel giro di pochi anni, sotto la direzione di Renato Zanelli prima e di Raffaele Sarno poi, sempre grazie ad altre donazioni e agli acquisti operati, salì a 26000 volumi.

Nel luglio 1949 venne assicurata alla biblioteca la raccolta Giovanni Beltrani costituita da oltre 8000 unità e conservata in una artistica scaffalatura ottocentesca di stile rinascimentale. La raccolta Beltrani è costituita da opere di esclusivo interesse storico locale, ricordiamo a tal proposito il ricco nucleo delle edizioni pugliesi del XVII secolo che si conosca, ed una raccolta di giornali politici meridionali del Risorgimento.
Successivamente alla Raccolta Beltrani, si sono succedute altre donazioni, ricordiamo quella dell'avv. Giacinto Francia (di interesse filosofico e sociologico), quella dell'avv. Giovanni Petrelli (opere di varia cultura), quella del prof. Luigi Viesti (opere giuridiche), quella dell'avv. Emilio Gargano (volumi di interesse giuridico), quella della famiglia Rossi e parte della biblioteca di Raffaele Cotugno, quella dell'avv. Cataldo Trombetta, quella dell'avv. Guido Maffuccini e quella dei fratelli Gaetano e Adolfo Quercia.

Nel 1952 assunse la direzione della Biblioteca Benedetto Ronchi e vi rimase per oltre 25 anni. Furono degli anni di inteso e proficuo lavoro: fu redatto il primo regolamento della biblioteca, fu elaborato un catalogo per soggetto, fu istituito il servizio di prestito ed avviata la catalogazione dei manoscritti da parte dello stesso Ronchi.

Nel 1978 assunse la direzione il dott. Mario Schiralli che aveva già lavorato per quindici anni a fianco del dottor Ronchi.

Il 6 dicembre 2003 la Biblioteca fu nuovamente trasferita in Piazzetta San Francesco, nella sede attuale.

A partire dalla seconda metà del 2009 l'Amministrazione comunale ha iniziato un percorso di riflessione sulla qualità dei servizi della Città e del territorio, cercando di immaginare il valore e i risultati che un investimento culturale e sociale sulla storica biblioteca comunale “G. Bovio” avrebbe potuto avere sulla qualità della vita della comunità secondo tutte le sue declinazioni. 

Che tipo di biblioteca vogliamo realizzare? Quale pubblico di lettori vogliamo sostenere? 

Sempre, ed ancor più oggi, tenuto conto della necessità di operare con più razionalità nella gestione delle risorse a disposizione e della necessità di combinare le scarse risorse con le diverse decisioni. Si è trattato da un lato di avere una conoscenza della città e dall'altro di avere una strategia, una programmazione, degli obiettivi a breve, medio e lungo termine e comprendere come raggiungerli, in una visione del futuro della città, una città efficiente, una città smart. Dal mese di febbraio 2010 inizia questo nuovo percorso per la “Bovio”, che ha perseguito l’obiettivo di sperimentare e avviare un servizio bibliotecario di qualità e al passo con i tempi, ponendosi come obiettivo strategico e permanente il miglioramento continuo in funzione della soddisfazione degli utenti finali.

A partire dalla primavera del 2011, la biblioteca “G. Bovio”  ha preso attivamente parte ai lavori della programmazione P. O. FESR 2007 – 2013. Linea 4.2 – Azione 4,2,1, lett F “Riqualificazione e valorizzazione del Sistema delle biblioteche”, essendo stata individuata come sede del capofila del Polo Bibliotecario BAT. La Bovio entra così a far parte del Servizio Bibliotecario Nazionale (SBN), la rete delle biblioteche italiane promossa dal MiBAC, dalle Regioni e dalle Università, e coordinata dall'ICCU, finalizzata ai servizi agli utenti.

Nel 2021 la Biblioteca G. Bovio entra a far parte del Si.Bi.BAT, il portale delle biblioteche del polo BAT, di cui è sede capofila.