Pécsett az első jelentős könyvgyűjteményt Berényi Zsigmond püspök hozta létre, ám a könyvtár fénykora Klimo György püspöksége (1751-1777) idején kezdődött, akit az a cél vezérelt, hogy újra indíthassa Nagy Lajos király középkori egyetemét. Melyben papírmalmot és nyomdát létesített, tudós papokat hívott az egyházmegyébe, akik az egyetem professzorai lehettek volna. Így került Pécsre Koller József, aki elvégezte a Klimo-gyűjtemény katalogizálását, Rómában pedig felkutatta a középkori pécsi egyházmegye iratait. Klimo 1774-ben nyilvánossá tette a könyvtárát, így annak ellenére, hogy Mária Terézia nem adott engedélyt az egyetem létrehozására, a gyűjteményt a püspök mégis a köz szolgálatába állította.

Szepesy Ignác püspök (1828-1838) maga is tudós ember volt, művelte és pártfogolta a tudományokat, ő indította el a Püspöki Joglyceumot, melynek könyvtárépületét Piatsek József tervezte. Ebbe költöztették át 1832-ben a Klimo-gyűjteményt is. A könyvtár átrendezése miatt új katalógusra volt szükség, így készült el hat foliókötetben a szerzői betűrendes és a tematikus felépítésű kézzel írott katalógus.

Az I. világháború utáni területi változások miatt 1923-ban Pozsonyból Pécsre költözött az Erzsébet Tudományegyetem. Zichy Gyula püspök az egyetem örökös használatába adta az épületet, valamint a könyvtár gyűjteményét. Ily módon valósult meg Klimo György álma, és könyvtára végül az egyetemi polgárok használatába került.

A könyvek döntő része latin nyelvű, sok a német és magyar nyelvű kötet, és előfordulnak olasz, örmény, szanszkrit, orosz, arab nyelvű kiadványok is. A gyűjtemény részét képezi néhány igazi különlegesség, mint a nyolc kódex, a kétszázötven antikva, a középkori oklevelek, a Vizsolyi Biblia, Tinódi Lantos Sebestyén kézirata, valamint egy holland mester 1700-ból való  föld- és éggömbje. Az állomány katalógusa természetesen ma már digitálisan is elérhető.