相传舜（约公元前22世纪）曾“渔于雷泽，躬耕于历山”。历山即济南市区南部的千佛山。所以市内至今还散落有各种以舜命名的地名，如“舜井”、“舜耕路”、“舜华路”、“舜耕山”等。
商代末期帝乙、帝辛（纣）克东夷时甲骨文卜辞中的“泺（音洛，四声）”字即今日的趵突泉，从而把济南泉水有文字记载的历史上溯至3556年前（即公元前1542年）。
2100多年前的汉代改称济南（《史记》）。因地济水之南，故名。公元前164年设立济南国。公元前154年又废国改郡。到了宋代至道三年 （公元997年），分全国为15路，济南属京东路，为齐州（《宋史》）。徽宋政和六年（公元1116年），齐州升为济南府，辖历城等五县，治所设历城，为府治之始。明清以来，济南府一直为山东的治所所在地。
1928年5月3日，日军在济南制造了五三惨案，屠杀济南人民1.2万，每年这一天，济南在全市范围内，包括各区县，都要拉响防空警报，以示纪念。
1929年7月正式设立济南市。
1948年9月27日，中国人民解放军解放了济南。