1919 yılında Solingen kentinde doğan Scheel,bankacılık kariyerini sürdürürken İkinci Dünya Savaşı'nın patlak vermesi üzerine Alman Hava Kuvvetleri'ne katıldı ve üsteğmen olarak görev yaptı.İkinci Dünya Savaşı sonrası Hür Demokrat Parti'ye katıldı.Solingen belediye meclisi üyeliği ve 1950-1953 yılları arasında Kuzey Ren-Vestfalya eyaleti meclis üyeliği yaptı.Partisinin eyalet teşkilatı yönetim kurulu üyesi oldu.1955-57 yılları arasında Avrupa Kömür ve Çelik Topluluğu genel meclisi üyeliği yaptı.1958 yılında Avrupa Parlamentosu'na milletvekili seçilen Scheel,11 yıl burada görev yaparken aynı devrede Başbakan Konrad Adenauer ve Başbakan Ludwig Erhard hükümetlerinde Ekonomik İşbirliği ve Planlama Bakanlığı görevini ifa etti (1961-1966).1968 yılında partisinin genel başkanlığına seçildi ve 1969 yılında savaş sonrasının ilk sol ağırlıklı hükümetine ortak olarak başbakan yardımcılığı ve dışişleri bakanlığı görevini üstlendi.Bu devrede en çarpıcı olay Almanya'nın Polonya,Çekoslovakya ve Sovyetler Birliği tarafından işgal edilen topraklar üzerindeki hak iddiasından vazgeçmesiydi.Buna rağmen koalisyon hükümeti 1972 seçimlerinde güven tazeledi.