Fundado en el siglo XVI por D. Francisco de Toledo (Virrey de Peru) con el fin de que la Compañia de Jesús impartiera clases, labor que fue llevada a cabo hasta que fueron expulsados de España.
Seguidamente pasó a llamarse "Real Casa de Enseñanzas" por Carlos III, por lo que ostenta escudo real en la puerta principal.
LLegó a tener ocho cátedras universitarias, y el número de sus colegiales deberia ser unos 33, coincidiendo con la edad de la muerte de Cristo.