Yılmaz, 1947'de İstanbul'da doğdu.

İstanbul Erkek Lisesi'ni bitiren Yılmaz, 1971'de Ankara Üniversitesi Siyasal Bilgiler Fakültesi Maliye ve İktisat Bölümü'nden mezun oldu. 1972 - 74 arasında Almanya'nın Köln Üniversitesi İktisadi ve Sosyal Bilimler Fakültesi'de yüksek lisans çalışması yapan Yılmaz, 1975 - 83 arasında özel sektörde yöneticilik yaptı.

1983'te siyasete atılan Yılmaz, 1988'den bu yana Avrupa Demokratlar Birliği (EDU) Başkan Yardımcılığı görevini de yürütüyor. Yılmaz, evli ve iki çocuk babası.

Almanca ve İngilizce biliyor.