Questa villa fu edificata verso il 1685 dal Conte Giuseppe Augusto Manfredo Scaglia, per villeggiatura e per compiacere la bella e giovane moglie; la damigella Giovanna Battista d'Albert, figlia del Duca Luigi di Luines, pari di Francia.

Per errore la cosruzione della villa è stata attribuita ai disegni dell'abate F. Juvarra, ma è una delle ultime opere del Conte Amedeo di Castelmonte, architetto della casa Ducale.

La Contessa di Verrua, a 18 anni fu scelta come dama della Duchessa Anna d'Orleans, sposa del duca e chiamata a vivere nello stesso palazzo Reale.

Divenuta amante del Duca Vittorio Amedeo II, ebbe da lui due figli: Vittorio Francesco Amedeo di Savoia ed una figlia Vittoria Marianna Fracesca che liberata dal convento da adulta sposò nel 1714, Vittorio Amedeo I, figlio del Principe Emanuele Filibeto di Carignano, detto il muto.

La Contessa, forse stanca del genere di vita che conduceva, lasciò in segreto il Piemonte, portando con se gioielli  tra cui il ritratto in diamanti del Duca, per rifugiarsi in Francia nel convento di Cherche Midy.

Deceduto il marito in battaglia, la nobildonna si riparò a Mondovì, in una casa di sua proprietà con i due figli, dove morì nel 1736.

La Villa del Passatempo passò allo zio l'Abate Augusto.