1993 yılında 3 çocuğunun annesini bir tren kazaısnda kaybetitği söyleyen Yılmaz, 15 yıl sonra ikinci kere evlendi.Fakat 2 sene önce ikinvi eşi Latif Yılmaz'ında hayatını kaybetmesiyle birlikte Tokat'ta tek başına yaşamaya başladı. İkinci evliliğini yapmadan önce oğluna evini veren baba daha sonra oğlunun evi satmak istediğini belirterek, "Ben ölünceye kadar bu evi sattırmamak istiyorum. Ben öldükten sonra ne yaparsa yapsın. Zaten onun üzerine tapulu. Bu evi 3 çocuğumun en küçüğüydü, başarılıydı. Sevdiğim için onun üzerine tapu yaptırdım. Kanunda sevmek suçmuş demek ki. Şimdi de devletim beni suçlu buldu, hukuk elimden aldı ona sattırıyor" dedi.
Oğlunun villayı satmasını istemeyen Ali Yılmaz çareyi ilginç bir yöntemde buldu.“Ben 77 yaşındayım. Bir bu kadar daha yaşayacak halim yok. Şurada birkaç günlük ömrüm var. Yalnız oğlum beni buradan tahliye davası ile çıkartacak.”