Hayatı boyunca kadınlar ile ilişki sorunları yaşamıştır.
19 yaşında(1873) ev sahibinin kızı Eugénie Loyer'den hoşlandı, fakat ona açıldığında kız başkası ile gizlice nişanlandığını söyleyerek Vincent'i reddetti.
28 yaşında(1881) kendisinden 7 yaş büyük olan dul kuzeni kee vos stricker'den hoşlanmaya başladı. Evlilik teklifi karşısında "hayır, asla, hiçbir zaman" cevabını alan vincent bunu saplantı haline getirdi. Kee kendisini görmek istemeyince defalarca kızın babası yani ile eniştesi ile konuşmaya çalışır. Eniştesinden aldığı cevap ise kızını maddi anlamda sıkıntı çekecek birisiyle evlendirmek istemediği olur.
29 yaşında(1882) kuzeni ile birlikte yaşarken sien lakaplı Claina Maria hoornik isimli hamile bir fahişe ile tanışır. Sien ve 5 yaşındaki Maria isimli kızı kendi evine alır. 1 yıl sonra(1883) Sien bir erkek çocuk doğurunca artan baskı ve dedikodular yüzünden kadını ve çocukları terk etmek zorunda kalır.
1884 sonbaharında komşusunun kızı ile ilişki yaşamaya başlar. İki tarafın aileside çiftin evlenmesine karşı çıkar. Vincent ilk intihar teşebbüsüne bu olaydan sonra kalkışır.
1885 baharında resimlerinde model olarak kullandığı kızlardan birini hamile bırakmakla suçlanınca katolik rahip kasaba halkının ona modellik yapmalarını yasaklar.
27 Temmuz 1890'da kendisini tabanca ile göğsünden vurdu. 2 gün sonra hastanede yaşamını yitirdi. Sien ise ondan 14 yıl sonra, 54 yaşında intihar eder.