中国共产党1921年诞生于上海，不仅使中国大陆的革命面貌从此焕然一新，也给正处于日本殖民统治之下而倍感苦闷的台湾进步青年带来了希望。为探索救亡图存之道，台湾进步青年跨越海峡，日渐汇聚到上海这一东亚革命运动的中心城市。上海由此成为20世纪20年代前期台湾进步青年从事民族解放活动最活跃、最集中的地区。

台湾进步青年在上海的革命活动初期以校园或民间社团组织的形式开展。较具代表性的主要有：1923年10月12日由台湾著名反日爱国诗人蔡惠如、彭华英、许乃昌在上海南方大学成立的上海台湾青年会，1924年3月底由蔡孝乾、彭华英、许乃昌成立的平社，1924年5月前后由上海台湾青年会部分成员和平社有关人员组建的上海台湾自治协会，1924年11月16日在上海台湾青年会基础上成立的旅沪台湾同乡会，1925年12月20日由上海台湾青年会的成员联合上海各学校台湾籍学生成立的上海台湾学生联合会。

与此同时，众多台湾进步青年还进入上海大学就读。据不完全统计，先后有翁泽生、许乃昌、谢雪红、林木顺、蔡孝乾、潘钦信、洪朝宗、庄泗川、李晓芳等人。上海大学并非一所普通高等院校，而是肩负着培养革命人才使命的红色学府。中共有意识地让这些台湾进步青年系统接受马克思列宁主义思想的教育，并吸收其入团、入党，做好人才储备工作，以待未来时机成熟时以他们为骨干，在台湾建立共产党组织。

中共在台湾建立党组织的设想，同共产国际对东方被压迫民族革命运动的规划不谋而合。共产国际第二次代表大会上责成“各国共产党必须直接帮助附属国或不平等民族和殖民地的革命运动”。共产国际以“一国一党”为原则划分世界各国共产党组织，而台湾地区当时为日本殖民地，故1927年共产国际决定将筹建台湾共产党的任务先是交予日本共产党负责。但适逢1928年日本国内大选，日共缺少时间和精力，乃将建党大会一切事宜托付中共。中共不负所托，竭心尽力提供各类帮助。中共一接到日共的委托请求，即立即选定出席台湾共产党建党大会的中共代表“彭荣”。“彭荣”多次主持预备会，听取台湾同志关于建党大会筹备情况的汇报，与之共同商定了建党大会的日期和开会地点。此外，中共还为谢雪红预订前往日本的船票、在上海法租界为台湾同志另租一间保存机密文件的小房间，并安排专人看护。

经过紧锣密鼓的准备，1928年4月15日，台湾共产党建党大会在上海法租界霞飞路(今淮海中路)金神父路(今瑞金二路)某照相馆楼上秘密召开。出席者共9人，包括中共代表“彭荣”、朝鲜共产党代表吕运亨和台湾同志代表林木顺、谢雪红、翁泽生、林日高、潘钦信、陈来旺、张茂良。会议通过了作为行动指南的《台共政治大纲》，并选出了台湾共产党中央机构，其中林木顺任中央常委兼组织部部长，林日高任中央常委兼妇女部部长，蔡孝乾任中央常委兼宣传煽动部部长，庄春火任中央委员兼青年运动部部长，洪朝宗任中央委员兼农民运动部部长，翁泽生任候补中央委员兼驻上海中共联络员，谢雪红任候补中央委员兼驻东京日共联络员。会上中共还对台湾共产党未来的发展做出具体指导，主要体现在以下五个方面：第一，向台湾共产党传授祖国大陆的革命经验;第二，再三叮嘱台湾共产党应吸取大革命失败的教训;第三，在大会主旨报告中逐一解答参会台湾同志关于祖国大陆革命的一系列疑问;第四，对台湾共产党各种纲领进行审议并提出修改意见;第五，要求台湾共产党应重点吸收工农分子入党。综上可见，虽然台湾共产党同中共并无组织隶属关系，但前者事实上是在后者的直接指导下成立的，二者关系“有实无名”。

台湾共产党的成立使台湾籍人士追求民族解放的运动有了坚实的组织依托和保障。然而其成立仅仅十天后发生的“上海读书会事件”，打乱了原有的领导分工与工作部署。1928年4月25日，日本驻上海总领事馆警察署警察突然搜捕上海的台湾进步青年重要交流平台—上海台湾学生联合会下设读书会所在场所辣斐德路(今复兴中路)389号。日本警察在搜捕过程中发现了台湾共产党的若干重要文件，台湾共产党随之意外暴露，而读书会成员，同时也是台湾共产党党员的，除林木顺逃脱外，余皆被捕。尽管日本殖民当局后因未掌握读书会同台湾共产党之间存在联系的直接证据而释放被捕的谢雪红、张茂良等人，但此次搜捕对台湾共产党人仍是一次沉重的打击—台湾共产党的暴露导致的上海革命环境的急遽恶化，令其已无法再在上海立足。无奈之下，台湾共产党人被迫暂停工作，撤离上海，将重心转移至日本东京和台湾岛内以继续坚持革命。