Çocuklu bir erkekle sevgili olmak, evlenmek?

Ben 24, bahsettiğim kişi 28 yaşında. Evlenip aldatılıp boşanmış birisi. 4 yaşında dünyalar tatlısı bir oğlu var. Bir baba olarak gayet iyi olduğunu gözlemleyebildim. Arkadaş ortamında tanışmıştık ve o günden beri de yakın bir şekilde devam ediyoruz. Öyle bir sürü sevgilim olmadı. Bir tane oldu o da lise döneminde. Bu adamı gerçekten seviyorum. Hayatımı da onunla devam ettirmek istiyorum. Zaten ufak ufak oraya doğru gidiyoruz ama benim bazı korkularım var. Öncelikle o çocuğun psikolojisini düşünüyorum. İkinci olarak da sonuçta eski de olsa bir karısı var. Hem de kocasına ihanet etmiş bir kadın. Bir gün karşıma çıkıp sorun yaratırsa, benim de ailemi zedelerse çok üzülürüm. sizce bahsettiğim konularda sorun olur mu?