20世纪80年代初期，为更好开展海外统战工作，市委统战部需要成立一个“中性”的社会团体。时任新华社香港分社副社长李储文建议采用“上海海外联谊会”的名称。市委统战部又提出请时任上海市市长江泽民做名誉会长，他欣然同意。海外联谊会的成立当时在全国是首创。江泽民应邀担任名誉会长后撰文对这一新事物予以充分肯定，还多次参加海外联谊会举办的重要活动，这给了市委统战部很大的鼓励。

1985年12月7日，市委同意市委统战部以“上海海外联谊会”名称开展对外工作。会长、副会长分别由市委统战部部长、副部长担任。1986年5月12日，上海海外联谊会举行首次理事会议，推选江泽民为名誉会长，毛经权为会长，周谷城、刘靖基、杨堤、李肇基、叶叔华、董寅初、张承宗为名誉顾问。这是全国统战系统成立的第一家海外联谊会。该会是具有独立法人地位的地方性社会团体。会员范围是全市各界知名人士中，在经济、科技、教育、文化、卫生、体育等领域有一定影响并与海外有较广泛联系者;港澳同胞、台湾同胞、海外侨胞和外籍华人中各界知名人士。该会实行团体会员和个人会员制。个人会员为上海各界代表人士以及港澳同胞、台湾同胞和海外侨胞中的知名人士;团体会员为统战系统相关单位、区(县)海外联谊会、与港澳台海外地区有密切联系的人民团体、社团、企业、金融机构、媒体机构、高校等。上海海外联谊会还聘请在海内外享有一定声誉的并热心该会工作的知名人士为荣(名)誉会员。

上海海外联谊会下属还有一些分支机构。1985年11月20日，市委同意成立上海海外联谊会联谊俱乐部。1986年5月16日举行联谊俱乐部开幕仪式。联谊俱乐部作为海内外各界人士开展友好联谊活动的社交场所，经常开展形式活泼多样的联谊活动，举办各种内容的座谈会、研讨会、恳谈会和形式活泼的联谊沙龙、联谊舞会、桥牌比赛等活动，受到广大会员的欢迎，也受到海外朋友的赞许和支持。联谊俱乐部现有海外会员百余人，涉及美国、法国、中国香港等10多个国家和地区。1986年7月20日，上海海外联谊会联谊书画社成立。1993年9月19日，上海海外联谊会中青年知识分子联谊会首创成立。1987年9月26日，上海民主妇女俱乐部成立。1998年6月，根据上海海外联谊会章程，特设《上海海外联谊会基金》，订立《上海海外联谊会基金章程》。建立基金管理委员会。在上海海外联谊会开展活动的同时，上海市各区、县、大专院校已有三十多个单位相继成立海外联谊会。有的还聘请了一批境外、海外人士担任名誉会长、顾问、理事等职。

上海海外联谊会的宗旨是广交朋友、联络感情、互相砥砺、交流信息，增进上海各界人士同港澳同胞、台湾同胞、海外侨胞、外籍华人之间的了解和友谊，促进上海经济、科技、文教、体育和社会福利等各项事业的发展。由于海外联谊会是民间团体，因此具有工作对象广泛、活动内容多样、方式方法灵活的巨大优势。海外联谊会的建立把海外统战工作，推向了一个新的阶段。

上海海外联谊会的成立与发展不仅拓展了海外统战工作的渠道，有力地促进了海外统战工作向广度和深度发展，还被海外朋友亲切地称为“海外人士之家”。为上海深化改革、扩大开放，维护港澳长期繁荣稳定和促进祖国统一大业、实现中华民族伟大复兴的中国梦作出贡献。