Il 26 agosto 1766 il principe Antonio Tolomeo Trivulzio con il proprio testamento destinava tutti i suoi beni alla fondazione di un ospizio per poveri e anziani, nel suo stesso palazzo di abitazione, in via della Signora. 
L’edificio accolse per oltre un secolo centinaia e centinaia di poveri, anziani, mutilati e tutti coloro che per vecchiaia e malattia non erano più in grado di lavorare e di assicurarsi di che vivere.
Lo stabile fu ristrutturato più volte nel corso del XIX secolo, ma all’inizio del Novecento, aveva davvero compiuto la sua storia e la sua funzione: occorreva un nuovo edificio, più grande e funzionale, che potesse accogliere l’accresciuto numero dei ricoverati e rispondere alle esigenze di un mutato indirizzo medico-assistenziale.
Il nuovo Pio Albergo venne costruito sulla strada per Baggio nel 1910, e fu il primo esempio europeo di ospedale con grandi corridoi su cui si aprivano a pettine i padiglioni, mentre sino ad allora gli ospedali avevano mantenuto l’impostazione quattrocentesca con grandi cortili chiusi attorno ai quali erano edificati gli alzati.