L'any 1835, els carlins van enviar a Olot la 5a Divisió d'Aragó, procedent de Navarra, amb la intenció de convertir la ciutat, de tendència liberal, en un centre estratègic. Era la primera guerra carlina, coneguda com la guerra dels Set Anys. El setge d'Olot va durar poc, però la casa Vayreda, als afores de la ciutat, va patir un incendi que la va deixar inhabitable. Francesc Vayreda, el cap de família i avi del futur pintor, va decidir traslladar la família a la ciutat de Girona. Restaurar la casa familiar volia temps i els afers polítics pronosticaven mala maror, almenys fins a la fugida a França de Ramon Cabrera, que posava fi a la primera carlinada.

L'avi Vayreda va llogar a Girona una casa propietat de la família Burgués situada al carrer de la Força, la que avui dia porta el número 15. S'hi van instal·lar els pares, els fills i tot l'estol de criades que acostumaven a traginar aquest tipus de famílies. L'hereu, Francesc Vayreda i Busquets, tenia 21 anys, època de buscar parella. La va trobar cap al 1838 en una família de la noblesa rural com la seva. Rosa Vila i Galí era filla de la pairalia del Cavaller de Vidrà. Es van casar el 1840 i tres anys més tard, el 23 de maig, va néixer el que seria un dels pintors més significatius d'aquest país. En alguna data del 1844, Francesc Vayreda, la seva esposa i el fill acabat de néixer van tornar a Olot amb la intenció de refer el casal cremat i la vida familiar a la capital de la Garrotxa. L'avi i les seves filles es van quedar a Girona.

El seu itinerari artístic es va iniciar a l'edat de nou anys a l'Escola de Dibuix d'Olot sota la direcció de Narcís Pascual. Els estudis de filosofia el van portar a Barcelona, on va freqüentar el taller de Ramon Martí i Alsina, que es convertiria en el seu mestre. El 1865 va exposar la seva primera obra, Arri Moreu, al local de la Societat d'Artistes de Barcelona, i l'any següent a la Sala Parés va exposar Els jugadors i alguns paisatges. El 1869, juntament amb un grup d'amics, va fundar el Centre Artístic Cultural de la ciutat d'Olot, sota la direcció de Berga i Boix.

El 1871 va fer el seu primer viatge a París, curt però suficient per tornar bocabadat amb els pintors de l'escola de Barbizon i el primers impressionistes. El 1872, de nou la guerra carlina el va obligar a exiliar-se. Amb Josep Berga, es van traslladar a França, d'on van tornar el 1875. Va recuperar l'activitat política, tornant al consistori olotí i els negocis, amb la creació de l'Art Cristià. Va fundar el Centre Catalanista el 1887, una activitat que el va portar, el 1892, a la presidència de la Primera Assemblea Catalanista de Manresa, en la qual es van aprovar les bases per a la Constitució Regional catalana.