中国共产党在阜阳城最早建立党组织，是民国14年(1925年)8月建立的中共阜阳小组。这个党小组是由在上海、南京、武汉上学的本籍中共党员秘密建立的，组长张子珍，组员有周传业、周传鼎、张蕴华等。在此基础上，民国15年(1926年)12月，中共阜阳县临时支部建立，周传业任支部书记。中共阜阳小组与中共阜阳县临时支部，先后均受中共上海区委员会领导。翌年，国民革命军高桂滋部进驻阜阳城，中共在该部建有秘密特别支部，曾晓渊、南汉辰先后任书记。同年冬，中共阜阳县临时县委建立，书记先后为乔锦卿、李端甫。民国17年(1928年)春，中共皖北特委建立，魏野畴任书记，领导了著名的阜阳“四·九”起义。起义失败后，李端甫于同年秋重建中共阜阳县临时县委并任书记。民国18年(1929年)5月建立中共阜阳中心县委，民国22年(1933年)，中共阜太县县委建立，陈伯领、王朝廷先后任书记。

　　抗日战争时期，李宗仁第五战区长官司令部政治部政治工作第一队(简称政一队)于民国27年(1938年)派来阜阳，该队内秘密建有由贾士珍为书记的中共特别支部。次年初，中共阜阳县工委建立，贾士珍任书记。同年3月，中共豫皖苏边区党委组织部长周季方来阜阳城，组建了中共皖北特委并任书记。民国28年(1939年)5月，中共阜阳县委建立，贾士珍任书记，同年8月，朱洪翔接任中共阜阳县委书记。

　　解放战争初，阜阳城的中共党员大都奉命撤往解放区，仅有少数党员留本城坚持秘密活动。民国36年(1947年)5月，重建中共阜阳县委，书记张立志。同年10月，中共阜北县委建立，书记仍是张立志。1948年8月1日，阜阳城解放，随即建立了中共阜阳市委，刘玉柱任书记。

　　1949年3月，中共阜阳市委撤销，建立了中共阜阳县城关区委。1956年7月，城关区委改为城关镇委。1959年3月，城关镇委改为城关公社委员会。1962年1月，复称城关镇委。1965年6月，改建为阜阳镇委，直属中共阜阳地委领导。1969年6月，复归中共阜阳县委领导。1975年12月9日，国务院批准建立阜阳市。翌年4月，中共阜阳市核心领导小组建立。1978年9月，中共阜阳市委正式建立。