林祥谦，1892年10月出生在福建省闽县一个农民家庭。

1906年进马尾造船厂当学徒。由于他聪明好学，很快掌握了钳工技术。1912年他通过技工考试，进入汉口江岸铁路工厂当钳工。当时的京汉铁路既是帝国主义侵略中国的吸血管道，又是封建军阀进行统治、互相混战的工具。近3万京汉铁路工人过着“成年累月做马牛，吃喝如猪穿如柳”的苦难生活。为了改善劳动条件，提高收入，林祥谦曾和工友们开展过小规模的罢工斗争。

1921年中国共产党成立后，武汉党组织负责人陈潭秋、项英等人经常深入到江岸区的铁路工人中，宣传革命道理，很快发现了富有反抗精神又在工人中有着很高威望的林祥谦。在陈潭秋、项英等共产党人的帮助下，林祥谦阶级觉悟很快提高，开始走上革命道路。同年12月，林祥谦参加中国劳动组合书记部武汉分部会议，并作为发起人之一筹备组织京汉铁路江岸工人俱乐部。

1922年1月，江岸工人俱乐部成立，林祥谦被选为干事。由于他办事公正，乐于助人，为工人谋利益，深受大家的信任和爱戴。1922年夏天，林祥谦加入了中国共产党，不久当选为京汉铁路江岸分工会委员长。

为适应全国工人运动日益高涨的形势，京汉铁路总工会筹委会经过多次酝酿筹备，决定于1923年2月1日在郑州召开京汉铁路总工会成立大会。2月1日清晨，郑州全城戒严。反动军警荷枪实弹，如临大敌。面对全副武装的敌人，林祥谦和代表们毫不畏惧，冲破军警的包围圈，进入会场。在一片欢呼和口号声中，宣告京汉铁路总工会正式成立。