Enkele maanden nadat Vincent van Gogh in Londen was aangekomen trok hij in het kosthuis van de weduwe Sarah-Ursula Loyer en haar dochter Eugenie in de Londense wijk Brixton, waar zij ook een jongensschool hield. Daarvoor woonde hij in een kosthuis op een adres dat nu nog steeds onbekend is. Hoewel hij het daar aanvankelijk naar zijn zin had, zocht hij al na een paar maanden een ander, goedkoper, onderkomen. Hij vond dat bij de Loyers en schreef zijn broer Theo enthousiast over het vermakelijke huishouden daar. Hij was tevreden met zijn kamer, genoot van de bedrijvigheid en was druk aan het tuinieren in de tuin van de Loyers. Waarschijnlijk sliep hij in de kamer aan de voorkant van het huis op de derde - bovenste - verdieping. 

“Mij gaat het hier goed, ik heb een heerlijk te huis & het is mij een groot genot Londen & de Engelsche levensmanier & de Engelschen zelf te bekijken, & dan heb ik de natuur & de kunst & de poesie, & als dat nog niet genoeg is, wat zal dan genoeg zijn.” Lees de hele brief

Vincent beschouwde zijn kostgezin bijna als zijn familie. Het thuisfront Van Gogh was blij dat hij zo’n fijn onderkomen had gevonden, want de grillige Vincent was in goede doen. Vanaf 14 juli 1874 verbleef Vincents zusje Anna, die in Engeland een baan zocht, ook bij de Loyers. Hun gezamenlijke verblijf daar zou niet lang duren: half augustus verhuisde zij en Vincent naar het huis van John Parker op 395 Kennington Road in Londen.

Vincent was tijdens zijn verblijf bij de Loyers vermoedelijk verliefd geworden op de dochter van Ursula, Eugenie. Dit liep uit op een teleurstelling omdat zij al verloofd was met een andere jongeman. Mogelijk raakte Vincent daardoor verbitterd, want zijn familieleden vonden dat hij was veranderd en ze maakten zich zorgen over hem: hij was somber, trok zich terug en gedroeg zich vreemd. Zijn moeder wijdde zijn gedrag aan zijn teleurstellende verblijf bij de Loyers die volgens haar "geheimen" hadden geen normale familie vormden. Ze was dan ook blij toen Vincent en Anna naar de Parkers verhuisden.

Vincent zelf hield blijkbaar wel warme gevoelens voor de familie Loyers, want toen hij in 1876 vanuit Isleworth naar Londen wandelde, bracht hij Ursula een verjaardagsbezoek.

Er is een tekening bekend van het huis van de Loyers aan 87 Hackford Road, maar deze is door het Van Gogh Musem niet erkend als een authentieke tekening van Vincent.