A Veszprémi Érsekség székhelye, a veszprémi püspöki palota 1765–1776 között épült a hazai késő barokk és copf építészet jeles képviselőjének, Fellner Jakabnak a tervei alapján. Az építtető főpásztor, Nagymányai Koller Ignác (1762–1773) habitusát és műveltségét tükrözi, hogy az épület első emeletének északi szárnyában, közvetlenül lakosztálya és a püspöki magánkápolna között rendezte be a könyvtárának otthont adó helyiséget. Az olvasószoba enteriőrje: a 18. századi beépített polcrendszer, az ahhoz kapcsolódó intarziás faburkolat és a tudatosan, méret szerint csoportosított gyűjtemény a püspök gondoskodásáról, a barokk pompa szeretetéről és különleges esztétikai érzékről tanúskodnak. Az alapító könyvszeretetét mutatja a Franz Anton Palko által készített, a teremben elhelyezett festmény, amely egy kötettel a kezében ábrázolja a főpásztort. A korabeli leltárkönyvek és feljegyzések egyértelművé teszik, hogy a helyiséget a Biró Márton és Koller Ignác által gyűjtött könyvanyag befogadására tervezték, létrehozva ezzel Veszprém egyik első tudatosan felépített magángyűjteményét.
A különgyűjtemény első szakmai alapú rendezésére az 1930-as években került sor a Püspöki Könyvtár katalogizálásakor. Ekkor egy reprezentatív fogadóhelyiséget igyekeztek kialakítani a teremben, ezért az ennek a célnak esztétikailag nem megfelelő köteteket a Püspöki Könyvtárban helyezték el, és más, szebb kötésű munkákkal pótolták azokat. Az így létrejött könyvanyag összesen 2225 kötetet tartalmaz. A kötetek közül 708 könyv Koller Ignác, 58 Biró Márton, 27 Bajzáth József, 11 Rosos Pál, 1 Kopácsy József püspökök könyvtárából való; a további 1420 kötet provenienciája nem ismert. A gyűjtemény főként 16–18. századi munkákat tartalmaz, de több 19. század elejéről származó könyvsorozat is található a polcokon.
A második világháborúban a püspöki palotába beszállásolt szovjet hadikórház a könyvtárszoba helyiségét is birtokba vette, és itt tartózkodásuk alatt több könyvet megrongáltak a megszálló hadsereg katonái. A Veszprémi Főegyházmegye az elmúlt tíz évben kijavíttatta a károkat, megtörtént a sérült kötetek restaurálása, a helyiségben található könyvállomány tisztítása és fertőtlenítése.