Ordenada edificar por el Visitador José de Galvez, fue Felipe Cleere, tesorero oficial real de esta Caja, y arquitecto aficionado, hacerse cargo del proyecto del inmueble, su edificación inició en 1764, como lo recuerda la inscripción en la clave de la puerta. Este es uno de los pocos edificios de uso civil que aún se conservan desde el Virreinato. Su función fue la de recaudar un quinto de los metales que correspondian al rey. Al terminar el Virreinato se le dio el uso de Comisaría, Aduana y residencia de algunos gobernadores y comandantes. Al erigirse el obispado de San Luis Potosí en 1854, el presidente Santa Anna cedió este edificio para Palacio Episcopal el cual fue habitado por Excmo y Rvdmo. Sr. D. Pedro Barajas de 1855 a 1858, Excmo y Rvdmo. Sr. D. del Cande, Corona y su Excmo y Rvdmo. Sr. D. Ignacio Montes de Oca y Obregón. También lo ocupo el seminario.
Su fachada ochavada muestra un rico barroco, que al mismo tiempo que veía a la antigua parroquia, al oriente, hacia la Casa de Moneda -también de fachada ochavada- en la esquina contraria, o su mirada se prolongaba hasta San Miguelito, al sur. El derroche de su cantera labrada se complementa y contrasta, acertadamente con la austeridad y limpieza de sus muros. Arriba del balcón principal se encuentra el Escudo de Armas del Excmo y Rvdmo. Sr. D. Ignacio Montes de Oca y Obregón, último obispo en ocupar este Palacio Episcopal. En el nicho abierto, de medio punto, una hermosa escultura, en piedra, de la Purísima, obsequio del rey Carlos III de España a la ciudad: remata en una graciosa moldura de cantera que descansa sobre las columnas del segundo cuerpo y sirve de base a la cruz de Lorena que se levanta en la cima y a las cuatro ágiles espirales.
A partir de 1960 fue ocupado por la Universidad Autonóma de San Luis Potosí, actualmente es un Centro Cultural Universitario.