Trascorse a Venezia quelli che uno degli ospiti statunitensi del suo frequentatissimo salotto, il pittore Francis Hopkinson Smith, descrisse in un libro intitolato "Gondola Days".

Figlia primogenita del nobile scozzese-americano David Stewart (proprietario di alcune miniere in Pennsylvania) e della latifondista Adelia Smith, Isabella Stewart nacque a New York il 14 aprile 1840, e trascorse l'infanzia insieme ai due fratelli e alla sorella Adelia (morta undicenne) tra le ricche abitazioni e le scuole private della società benestante di New York. A metà degli anni 50 gli Stewart decisero di trasferirsi a Parigi dove Isabella frequentò una scuola di perfezionamento facendo conoscenza con altre famiglie americane, inclusi i Gardner di Boston con le loro figlie. Fu proprio durante una visita a Boston a casa della sua compagna di classe Julia Gardner che, nel 1859, Isabella Stewart attirò l'attenzione del fratello maggiore di lei, il ventunenne John Lowell Gardner. Dopo un breve fidanzamento i due si sposarono il 10 aprile 1860 e vissero a Boston, ma dopo le traversie della guerra civile americana e la perdita del loro primogenito a causa di una polmonite salparono per l'Europa. Era il 1867, e fu passando per Mosca e Parigi che "Belle" iniziò ad alimentare la sua passione per le opere culturali: dipinti, libri rari, oggetti. Non solo, i Gardner iniziarono a ospitare nella propria abitazione salotti letterati e recital di concerti. Nel 1891 Isabella ereditò quasi due milioni di dollari da suo padre, una parte dei quali fu investita per acquisire all'asta un dipinto di Vermeer, "Il concerto". Rapidamente la collezione dei coniugi si fece di livello mondiale principalmente di dipinti e sculture, ma anche arazzi, fotografie, argento, ceramiche e manoscritti ed elementi architettonici come porte e vetrate. Ma a quell'epoca avevano già girato il mondo, acquistando oggetti di valore, ed erano approdati anche a Venezia, a Ca' Barbaro. Isabella si lasciò incantare da quel luogo e dalle sue frequentazioni, destinate a protrarsi negli anni: il romanziere Henry James la immortalò in un altro suo romanzo, "Le ali della colomba" (del 1902, ambientato proprio a Venezia) mentre il ritrattista John Singer Sargent l'aveva già immortalata in un dipinto nel 1888, ritirato dal marito e mai più esposto durante la sua vita, a causa dei troppi pettegolezzi che si erano creati sul suo conto.