1923年6月12—20日，中共三大在广州召开。大会决定采取共产党员以个人身份加入国民党的方式实现国共合作，这将中共二大提出的建立民主的联合战线的原则和西湖会议提出的党内合作形式又向前推进了一步。1924年1月20—30日，中国国民党第一次全国代表大会在广州举行。大会将新三民主义和联俄、联共、扶助农工三大政策联系起来，确认了共产党员以个人身份加入国民党的原则。国民党一大的召开，标志着第一次国共合作的正式形成。

国民党一大闭幕次日，国民党一届一中全会召开。会议决定将在北京、上海、汉口、哈尔滨和四川建立国民党地方执行部。会议还决定由国民党上海执行部统辖苏、皖、赣、浙四省和上海市党务，并监理上海特别市党部的职权。汉口执行部成立后旋遭湖北军警冲击，不久终结，相应事务也归国民党上海执行部办理。因此，国民党上海执行部还辐射湘、鄂、陕各省，成为国民党中央驻地方的两大执行部之一。

2月中旬，受中共中央委托，毛泽东与罗章龙、王荷波等人抵达上海，参加国民党上海执行部工作。这是毛泽东第9次来上海，也是他在上海停留时间最长的一次。同年6月，杨开慧和她的母亲带着毛岸英与毛岸青也来到上海，居住在英租界慕尔鸣路(今茂名北路)甲秀里的一栋石库门房子里。后来，毛泽东称：这段日子是他迄今为止“最安定、最富有家庭生活气息的日子”。

2月25日，国民党上海执行部召开第一次执委会。会议议定毛泽东为组织部秘书，并代理文书科主任工作(后为主任)。当时，由于组织部的实际工作都由毛泽东负责，因此毛泽东被人称为“代组织部长”。此后，毛泽东还陆续被上海执行部任命平民教育委员会常务委员、合作运动委员会委员两项职务。3月1日，位于环龙路44号(今南昌路180号)的上海执行部正式办公。在国民党上海执行部内部，共产党人约占总人数的32%，毛泽东等一大批中国共产党人在执行部各部与国民党人合作共事。

中共党员以国民党上海执行部为阵地，围绕反帝反封建的共同目标进行合作共事。第一，领导、组织国民革命运动。第二，改善辖区党务工作。由于组织部部长胡汉民事务繁忙，党员登记和筹建工作主要由担任组织部秘书的毛泽东负责。第三，推广平民教育，协助黄埔军校招生。据统计，黄埔军校第一期共招收学生635人，其中国民党上海执行部筛选并最终录取的学生达到100多人。在此期间，毛泽东亲自挑选并介绍蒋先云、伍文生、徐向前、张际春等一批共产党员到黄埔军校学习，后来成为我党军事骨干。第四，开辟上海革命宣传的阵地。此外，中共党员还积极推动国民党上海执行部其他各方面的工作，比如掀起妇女运动高潮、推动工人运动发展等。

随着国民党内部关于“容共”与“分共”的斗争愈演愈烈，国民党上海执行部中也始终存在着共产党、国民党左派同国民党右派之间尖锐而复杂的斗争。1924年7月初，国民党右派戴季陶自广州至上海任执行部常务委员与宣传部部长，执行部遂为叶楚伧、戴季陶等所把持。7月中，毛泽东不得不辞去组织部秘书一职，由张廷灏担任组织部秘书，作为缓冲。8月1日，周颂西、喻育之等人在南方大学召集各区党部代表会议，讨论所谓“处置共产分子”问题。会议尚未结束，反共党员与附共党员之间就爆发了冲突。次日，喻育之等人前往上海执行部要求主持执行部工作的叶楚伧致电国民党中央“排除共党分子”，并公然施暴殴打邵力子。叶楚伧既未按喻育之等要求致电国民党中央，也不对其进行处理。毛泽东等人多次联名上书孙中山，反映国民党上海执行部面临的困境，但最后也是不了了之。在国民党右派的排挤和打压下，共产党人相继离开执行部。

1925年10月，国民党中央设立上海各区党部联席会议办事处，以代行上海执行部职权。12月底，设在广州的国民党中央正式停止上海执行部的职权与活动，同时又电令恽代英、沈雁冰、刘重民等组建国民党上海特别市党部。1926年1月，国民党二大会议通过了《弹劾西山会议决议案》，正式决定撤销国民党上海执行部。经历近两年风雨的国民党上海执行部画上了句号。

国民党上海执行部是孙中山改组国民党以及第一次国共合作的直接产物。在其存续的22个月里，面对合作与竞争，中国共产党人努力协调共产党和国民党的行动，巩固和发展国民革命联合战线，广泛宣传普及民主革命思想，为大革命高潮的到来奠定了坚实基础。这也是中共创建初期在上海的又一次成功的统战实践。