Il palazzo, sorto su di un antico convento trecentesco dell’ordine degli Umiliati,  successivamente venne passato ai Gesuiti che vi stabilirono una scuola.

 Conobbe l’assetto attuale, solido e austero, a partire dall’inizio del Seicento ad opera di Francesco Maria Richini.

Nel 1773, a seguito dello scioglimento dei Gesuiti, il Collegio di Brera divenne proprietà dello Stato e l’Imperatrice Maria Teresa d’Austria volle farne sede di alcuni dei più avanzati istituti culturali della città: oltre all’Accademia di Belle Arti e all’Istituto Lombardo di Scienze e Lettere, la Biblioteca Nazionale Braidense, l’Osservatorio Astronomico e l’Orto Botanico.

Incaricato della progettazione e prosecuzione dei lavori fu Giuseppe Piermarini, uno dei protagonisti del Neoclassicismo in Italia. A lui si devono la sistemazione della biblioteca (un salone è visibile dalla sala I della Pinacoteca), il solenne portale di ingresso su via Brera, ed il completamento del cortile, al cui centro fu posta nel 1859 la statua bronzea che raffigura Napoleone in veste di Marte pacificatore, fusa a Roma su modello di Antonio Canova.Nel corso di tutto il XIX secolo logge, cortili, atri e corridoi furono destinati ad ospitare monumenti che celebrassero pubblicamente artisti, benefattori, uomini di cultura e di scienza legati all’istituzione braidense. Tra gli esempi migliori di questo ricchissimo e poco conosciuto arredo sono i monumenti a Cesare Beccaria di Pompeo Marchesi ed a Giuseppe Parini di Gaetano Monti, visibili sullo scalone di accesso alla Pinacoteca.