1922年夏天，他光荣地加入中国共产党。同年10月，江岸工人俱乐部改名为江岸京汉铁路工会。林祥谦被推选为江岸分工会的领导成员。不久，又当选为江岸分工会委员长。京汉铁路是旧中国重要的交通命脉，它的收入是直系军阀头子吴佩孚军饷的主要来源之一。1922年，我党领导的第一次工人运动出现了高潮。京汉铁路沿线各站，在一年内相继成立了16个分工会。为了加强对工人运动的领导，实现京汉铁路工人要求成立京汉铁路总工会的迫切愿望，京汉铁路总工会筹委会决定于1923年2月1日在郑州举行京汉铁路总工会成立大会。曾通电“保护劳工”的吴佩孚闻讯立即翻下脸来，下令郑州警察局长黄殿辰武力制止开会。当天清晨，黄殿辰派出大批荷枪实弹的军警，三步一岗，五步一哨，在郑州全城实行戒严。工人代表和来宾们毫不畏惧，整队向成立大会会场普乐园戏院前进。他们在林祥谦、项德隆（即项英）、施洋等共产党员的带领下，冲破敌人的封锁线，涌入会场，高呼：“京汉铁路总工会万岁！”等口号，宣布京汉铁路总工会正式诞生。敌人是不会甘心失败的，他们冲进会场，砸坏各单位赠送的匾额和各种礼品。下午又派出军警占领总工会会所，驱逐总工会工作人员，查抄总工会文件材料，甚至包围、监视代表们的住处。当晚，总工会在郑州召开秘密会议，一致决定向反动当局提出撤革赵继贤、黄殿辰，赔偿损失等五项要求，如48小时内不答应，将实行全路总罢工。会议还决定将总工会迁到江岸办公，组织总罢工委员会，并指定各分会的罢工领导人。林祥谦被指定为江岸地区罢工总领导，他们于当晚从郑州乘车南下，回到江岸。2月2日，江岸分工会召开会员大会，林祥谦当众怒斥军阀迫害代表，破坏总工会成立的种种罪行，宣布京汉铁路总工会已在激烈的阶级大搏斗中诞生；并传达总工会关于发动全路总同盟罢工的决定，号召工人们积极投入反对军阀暴行的斗争。这时，全场群情激愤，决心为争自由、争人权而战。

会后，林祥谦和他的战友紧张地进行罢工的各项准备工作，为了组织宣传队、调查队，扩大工人纠察团，并赶制自卫用的铁棍、木棒，他日夜奔忙，连回家吃饭都顾不上。2月4日上午9时，林祥谦接到总工会开始罢工的指示后，立即下达罢工令。工人黄正兴拉响了江岸机厂的汽笛，其他汽笛也跟着怒吼起来，响彻武汉三镇，震撼四面八方。世世代代当牛作马的江岸铁路工人，在林祥谦的指挥下，高擎铁棍、木棒，涌出各厂、段、站，犹如铁流直泻，势不可挡。一场在中国共产党领导下的政治大罢工，从江岸开始，沿着全长2400多华里的京汉铁路向北迅速蔓延，在不到3小时内，胜利地实现了全路总罢工。2月5日，湖北督军萧耀南根据吴佩孚关于从速消灭罢工领导力量的命令，指派督军署参谋长张厚生带着军警来到江岸，佯称要同工会谈判，妄图诱捕林祥谦等领导人。这个阴谋被工人识破后，张厚生又调来大批军队占领工厂，并先后抓走两名司机和三名纠察队员，妄图以此要挟罢工工人生火开车。林祥谦当机立断，先后派出2000多名工人和纠察队员前去营救，终于迫使敌人无条件释放他们。罢工在继续着，林祥谦和江岸全体工人决心战斗到底的斗争精神得到了武汉工人和各群众团体大力声援。2月6日上午，湖北省工团联合会组织2000多名代表来到江岸亲切慰问罢工工人，江岸一万多名群众参加慰问大会。林祥谦在会上感谢各界群众的声援，揭露帝国主义和封建军阀的破坏阴谋，号召工人们加强团结，坚持罢工。会后，林祥谦和著名律师施洋带领工人群众举行声势浩大的示威游行，沿途3000多名群众自动加入游行队伍。当队伍经过沿江的帝国主义租界时，群众不断高呼：“打倒帝国主义！”“打倒军阀！”“争自由、争人权。”等口号，情绪极为高昂。示威游行历经两小时才结束。2月7日，罢工进入生死搏斗的紧要关头。

林祥谦深知斗争形势的严峻，他鼓励妻子说：“咱工人争自由、争人权是光明正大的。但敌人不会甘心，会下毒手的，咱要有思想准备。死了一个工人，会有千百万工人站起来，革命最终一定会胜利。”果然，在当天下午4点半左右，纠察团员前来报告：张厚生正检阅全副武装的军队，看样子要来包围工会。5时整，放哨的工人又报告：一批全副武装的军警正从江岸火车站、三道街、福建街向工会包抄过来。情况已十分危急，林祥谦果断地命令纠察团副团长曾玉良带领纠察团迎敌。张厚生命令军队向工人进行疯狂的射击，开始了骇人听闻的“二七大屠杀”。工会门前及周围，弹痕累累。在和敌人英勇搏斗中，曾玉良和30多名铁路工人壮烈牺牲，200多人受伤。敌兵到处搜捕工人，闯进工人家中抢劫财物，奸淫工人妻女。工会附近的商店也被洗劫一空。林祥谦和60余名工人在同围捕的敌人搏斗中不幸被捕。晚上7点多钟，北风呼啸，雪花纷飞，整个江岸笼罩在一片白色恐怖之中。敌人把60多名被捕工人捆绑在江岸车站站台上，林祥谦被绑在站台东侧的灯柱上。江岸广大工人听到林祥谦和许多工友被捕的消息后，冒着被敌人捕杀的危险，纷纷奔向车站，想夺回大伙爱戴的领导人和其他阶级弟兄。林祥谦透过层层刀枪，看到和他朝夕相处、共同战斗的战友们和爱妻，顿时力量倍增，他威武不屈地挺立在站台上，怒视敌军官兵，有力地鼓舞着工友们的战斗情绪。