相传舜(约公元前22世纪)曾“渔于雷泽,躬耕于历山”。历山即济南市区南部的千佛山。所以市内至今还散落有各种以舜命名的地名,如“舜井”、“舜耕路”、“舜华路”、“舜耕山”等。
商代末期帝乙、帝辛(纣)克东夷时甲骨文卜辞中的“泺(音洛,四声)”字即今日的趵突泉,从而把济南泉水有文字记载的历史上溯至3556年前(即公元前1542年)。
2100多年前的汉代改称济南(《史记》)。因地济水之南,故名。公元前164年设立济南国。公元前154年又废国改郡。到了宋代至道三年 (公元997年),分全国为15路,济南属京东路,为齐州(《宋史》)。徽宋政和六年(公元1116年),齐州升为济南府,辖历城等五县,治所设历城,为府治之始。明清以来,济南府一直为山东的治所所在地。
1928年5月3日,日军在济南制造了五三惨案,屠杀济南人民1.2万,每年这一天,济南在全市范围内,包括各区县,都要拉响防空警报,以示纪念。
1929年7月正式设立济南市。
1948年9月27日,中国人民解放军解放了济南。