1949年初，随着全国解放的即将来到，筹建新中国政权的任务成为当时党中央最重要的工作。毛泽东主席与符定一在讨论建国方略时，从巩固新生政权和发挥德高望重知识分子作用、共同建设好新中国的大局出发，提出了在即将成立的新政府中设置一个具有统战性、荣誉性的机构，吸纳一批社会贤达、名流耆宿，政治上给予荣誉、地位，生活上给予保障奉养，工作上各尽所长、尽力而为，并通过他们影响和团结国内外各方面的爱国民主人士，为巩固新生政权、建设社会主义新中国献计出力。

1949年底，在毛主席的关怀下，中央文史馆的筹备工作正式开始。周恩来总理指示，知识分子中还有一批具有相当学识，在地方上具有相当声望的人士，但年老体弱、不能担任辛劳工作者，应采取适当办法，吸收他们参加适当的工作。1951年7月20日，经过近两年的筹备，中央人民政府政务院文史研究馆正式挂牌成立。毛主席特为文史馆加了“研究”二字，以突出“敬老崇文、存史资政”的工作宗旨。中央文史研究馆的成立，在当时的知识界、文化界产生了强烈的社会反响。特别是老年知识分子，对于党中央、毛主席这一重视知识、重视人才、关心体恤知识分子生活的举措十分感动，同时也成了当时知识分子关注的热点问题。1952年9月，邓小平主持召开政务院第149次会议，通过了中央人民政府关于设置文史研究馆的决定。之后，全国各省、自治区、直辖市和大行政区的所在城市相继成立了32个文史研究馆。

1953年3月，上海市人民政府在陈毅市长的主持下，指定秘书长负责筹建文史研究馆，并决定聘请张元济老先生为馆长，江庸、李青崖、陈虞孙为副馆长，沈尹默、余云岫、丰子恺、周予同、秉志、徐森玉、江恒源、吴蕴初、蒋维乔、颜福庆、周善培11人为馆务委员。6月8日，第一次馆务委员会议在市人民政府召开，宣布上海市文史研究馆(简称“文史馆”)成立，副市长金仲华出席并讲话，传达了党和政府敬老崇文的政策。馆址设在永嘉路623号1栋林木扶疏的小洋房内。陈毅市长亲笔签发了馆员聘书，聘请了姚虞琴、商笙伯、张国淦、曹元鼎、吴眉孙、袁希洛、丁元晋、黄葆戉、余节高等36人入馆，一时名士风流济济一堂，在社会上传为佳话。

1955年4月，上海市政府决定将文史馆馆址迁往岳阳路261号，后又迁至宝庆路22号。1978年，文史馆得以恢复，重建了机构。此后一度与市府参事室合署办公。现馆址为思南路41号。

1956年，周恩来总理在党中央召开的知识分子问题会议上作了关于知识分子问题的报告，强调发挥知识分子在社会主义建设中的作用。这年文史馆增加聘用了馆员165人。1959年后，继张元济任馆长的有江庸、平海澜、金兆梓，并增加聘用了陶菊隐、严谔声、李力群等为副馆长。逐年增加了聘用的馆员累计达到了603人，至1966年除了逐年逝世者外，共有馆员329人。

文史馆是党和政府团结、关怀老年知识分子的机构，是中国共产党领导下，我国人民爱国统一战线的组成部分。文史馆的成立，吸纳了一大批有影响、有专业造诣的社会名流，使他们不但在政治上有了地位、生活上有了依靠，而且其报国之心也有了用武之地。除了参加重大的国事活动之外，或修史编志、或著书立说、或潜心书画、或参加社会调研和参政议政，个个焕发了新的青春活力，为维护社会稳定、巩固新生政权、恢复发展生产和繁荣社会主义文化事业作出了积极贡献，受到了党和政府的高度肯定。