Gerhard Simon studierte Geschichte und Slawistik an den Universitäten Göttingen, Hamburg und an der Indiana University.
1969 wurde er in Hamburg mit einer Dissertation zur Kirchenpolitik im Russischen Kaiserreich zum Dr. phil. promoviert. Ab 1968 war er als wissenschaftlicher Mitarbeiter am Bundesinstitut für ostwissenschaftliche und internationale Studien in Köln tätig. Von 1991 bis
2000 war er hier Leiter des Forschungsbereichs Russland und andere Staaten der GUS. Zuletzt war er Leitender Wissenschaftlicher Direktor im Bundesinstitut; kurz nach dessen Auflösung zum Ende des Jahres 2000 wurde er 2001 in den Ruhestand verabschiedet.
1985 habilitierte er sich an der Universität Köln für neuere und osteuropäische Geschichte mit einer Arbeit zu Nationalismus und Nationalitätenpolitik in der Sowjetunion und lehrte hier seit 1991 als außerplanmäßiger Professor.
Gastprofessuren führten ihn an die Universität München, die Humboldt-Universität Berlin und die Universität Mainz. Er ist Fellow des Russian Research Center an der Harvard University und absolvierte ein Fellowship am Kennan Institute des Wilson Center.