林吉祥从政56年，也几乎就是行动党建党56年的兴衰史。考察林吉祥的政治生涯，当可论断行动党的浮沉。林吉祥在大马政海浮沉超过半世纪，在议会抗争中也经历多翻起起落落。但是他在行动党内，地位却长期屹立不倒，
虽然林吉祥党内也面对过不少人的挑战，但这些挑战者却如终无法撼动林吉祥的地位，而林吉祥在行动党的高峰时期，民间一度有“林吉祥就是行动党、行动党就是林吉祥”的说法。
蒂凡那得力助手
行动党是在1966年3月18日成立之时，孟沙国会议员蒂凡那成为第一任秘书长，森美兰拉抗州议员曾敏兴则出任党主席。当时蒂凡那有2名得力助手，就是副秘书长吴福源与组织秘书林吉祥。
蒂凡那准备移居新加坡后，吴福源接任秘书长。
吴福源在行动党里面本来也是个呼风唤雨的人物，在他出任秘书长期间，为行动党创造一个非常有利的政治环境，发表了《文良港宣言》，拟定行动党的政治方向，包括宣称自己为社会民主党、通过制宪手段实现民主社会主义、采取多种族的政治路线。目前行动党的“火箭”标志，也是由吴福源负责设计。
1969年1月沙登国会议席补选，行动党派林吉祥上阵，不敌马华的庄迪福，但林吉祥以政治新秀的身份打出知名度。
1969年的大选，民主行动党竞选24个国会议席中赢13席、参选57个州议席赢得31席，可谓“旗开得胜”。这场成绩无形中提高了吴福源在行动党内的声望。
但旋即513事件爆发，林吉祥在1969年5月18日从沙巴返回吉隆坡，在机场时被逮捕。
吴福源临危落跑
吴福源在1969年后，就飞往伦敦参加国际社会主义大会，争取释放林吉祥。但是吴福源在离开大马后长，却迟迟不回国，引起党内人士的质疑。
据报导，当吴福源准备取道新加坡返马之前，被告知如果他回来履行秘书长职务的话，他将会被逮捕因此拒绝回到马来西亚，并逗留新加坡。
当时，民主行动党的数位领袖专程到新加坡劝吴福源回马来西亚，但是没有得到很好的回应。此事件也让一些行动党不满，认为吴福源在行动党面临危机是落跑，并把他标签为“叛徒”。
在1969年10月1日，身在香港的吴福源致函行动党主席曾敏兴，提出辞秘书长的职位，被行动党接纳。行动党于是任命当时被仍被关在牢中的林吉祥，成为新任秘书长，这也是林吉祥步上行动党权力巅峰的开始。
林吉祥在1970年出狱后，虽然感谢吴福源努力协助，让他最终恢复自由。但是当吴福源争取出任党主席时，行动党中委会却不接受，只同意让他出任副主席。
之后一段时期，吴福源一再作出被视为违反行动党纪律及损害党利益的“反党”言行，最震撼的事件是他于1971年4月涉及和时任马华总会长陈修信秘密会谈。
据报导，吴福源曾同意解散行动党以加入马华，以换取某个党政高职；事件曝光后，林吉祥和曾敏兴断然拒绝他与陈修信所达致的所谓协议。
尤有进者，1971年12月10日，吴福源在国会下议院呼吁政府应与马共总书记陈平再度会谈，他甚至表示若首相授权的话，他将乐意促使陈平等马共领导人走出森林；吴福源的“大胆建议”反被执政党质疑行动党是否与马共有联系，是否是陈平的同路人。
在忍无可忍之下，行动党1972年7月16日召开特大，一致议决开除吴福源。
1971年，吴福源离开民主行动党，转身投入民政党。但在1974年吴福源代表民政党参加大选，结果失利，从此退出政坛。
范俊登退党
林吉祥出狱后，积极地开展党内外的工作。他的名声如日中天，到处演讲，到处建立党的权威和他自己的权威。
虽然行动党出现许多知名的领袖人才，如范俊登、叶锦源、李霖泰等，但却无法长期与林吉祥共事。
1974年后，行动党已基本上消除了其他反对党的威胁，但是党内的斗争一直持续著，完全没有化解的迹象，反而是逐渐推向高潮。此外主观上预想不到的事故也或多或少影响党的发展。
其中之一是当红强人范俊登，于1975年1月因煽动罪名成立被判罚款2000元或入狱6个月，这意味著范君已失去担任国州议员的资格。他是因火箭报刊载一篇文笔被认为触犯煽动法令，而以主编的身份被控上法庭。
经过高等法庭判罪后，选举委员会宣布万里望国会议席悬空。选委会主席阿默布朗说，他是接到国会秘书的通知后，采取行动来填补空缺，而非选委会决定议席之空悬。
民主行动党反对这项决定。林吉祥说这等于否定范君上诉联邦法院及枢密院的权利。范俊登说，如果补选，而他又上诉得直的话，万里望岂不是有两名国会议员？他乃向高庭入禀要求暂缓举行补选。
由于争执未有结论，选委会于1975年2月27日安排补选提名，结果只有行动党派叶锦源面对两位独立人士挑战，国阵决定不派人参加。
3月13日，高庭对范俊登的入禀状作了宣判，指补选是不合法的。于是一场补选解除，距离投票日只有2天的时间。
根据一般观察，如果补选如期举行，行动党的叶锦源将会当选，因两位对手太弱，不成气候。同时也可能不会发生1978年的叶锦源事件。
补选官司案了结后，范俊登于同年11月离开马来西亚到伦敦求深造。这对行动党固然是一个大损失，更在日后发展成范俊登的退党事件。
叶锦源成立社民党
叶锦源是行动党槟州分部主席，也是全国副主席，在1978年1月离开全国大选半年之前，党中央决定调派卡巴星律师到槟州活动，以为参加竞选铺路。
叶锦源一派坚决反对，酿成和林吉祥的公开对峙。而叶锦源的弱点在于他领导1974年的槟州选举蒙受失败，本身在华人社会无巨大影响力，主要他是一名英文教育者，与华人社会的接触不够广泛。
他的弱点成为他在政治上的致命伤，林吉祥决定按原计划进行，不理会叶锦源派之同意与否，并且在槟州组织另一批领导人来取代叶锦源的地位。
在彼德达逊和陈毓书的配合下，林吉祥终于先发制人，通过党中央开除叶锦源等人的党籍，导致叶锦源另起炉灶成立社会民主党 （Socialist Democratic Party），准备和行动党在槟州争夺地盘，加入他的阵营者有当时的八打灵国会议员胡更生。
丹绒三役
林吉祥出狱后，积极地开展党内外的工作。他的名声如日中天，到处演讲，到处建立党的权威和他自己的权威。
他在马六甲当选州议员，但是在1978年他转去八打灵参选面对行动党“叛将”胡更生，然后在1982年他又回到马六甲对付他的“背叛”徒弟陈德泉。
在1986年，他瞄向槟州，开展丹绒一役。林吉祥要用豪情万丈的选情来夺取槟州执政权。可是1986年只给林吉祥带来了1/3的胜利，他有10位州议员打进了槟城。到1990年，林吉祥几乎掌控一半的槟城议席，他有14个州议席，只差3席就可上台执政，他因此与首席部长擦肩而过。
1990年可以说是行动党辉煌的时期，民主行动党续1986年大选之后连续两届取得巨大的胜利，这代表著城市人民要改变建国政策的强烈意愿。选举的成绩最终迫使国阵（国民战线）和巫统（国阵中最大政党）在某些建国政策上，尤其是在语文、教育及化领域作出了有限程度的让步。
但到了1995年，林吉祥想通过丹绒三役震撼民政党的主导政权，这次他失败了，让他面对非常惨痛的教训。1995年他失掉了州议员，所幸他保留了国会议员。
1995年的大选失利，是林吉祥个人声望走下坡的开始。在槟城州选的输给许子根，是林吉祥从政以来的第三次失手。第一次是1969年正月参加沙登州议席补选失败；第二次是1982年在马六甲怡力州选区败给马华的颜文龙；而1995年在槟城丹绒武雅区败给许子根。
但林吉祥还是避不过排山倒海而来的挑战与考验，包括党内重要干部如柯嘉逊与林吉祥关系恶化、黄朱强被法庭判决失掉议员资格，P.巴都逝世、沈观仰辞党职等。
1998年倒林运动
原本在1990年与行动党合作的46精神党（后易名为46马来人党）在1996年宣布解散，党员在东姑拉沙里率领下，集体回返巫统，也让行动党失去合作伙伴。
1998年林冠英在联邦法院被判刑失去自由18个月。这对林吉祥是个非常沉重的打击。
在1998年，民主行动党内就酝酿全国性的“倒林吉祥运动”。
行动党在1995年大选受到挫败之后，林吉祥在党内发动“声援林冠英运动”，而引起黄朱强、廖金华、冯杰荣的异议，认为林吉祥当时是刻意安排儿子林冠英当接班人，有干预各州选举之嫌。黄廖冯三人更因此被封为“三剑客”，并与林吉祥交恶，后来更被革除党籍。
“倒林运动”虽无法发挥效应，不过，林吉祥却因行动党在1999年大选惨败引咎辞职，由前马六甲市国会议员郭金福出任秘书长。
替代阵线
1998年，安华与马哈迪的斗争宣告白热化，在安华被革职及开除党籍后，他在 1999年4月通过其夫人旺阿兹莎宣布成立国民公正党。
在成立新党之前，安华在未被逮捕前，已分别和林吉祥及法兹诺（回教党主席）商讨合作事宜。在安华的说服下，公正党与回教党和行动党来一个破天荒的三党联手合作组成“替阵”（替代阵线），直接向国阵挑战。
1999年大选前夕，民主行动党、泛马回教党、国民公正党和人民党，正式组成“替代阵线”（简称“替阵”），并发表了替代阵线联合宣言：《迈向公正的马来西亚》，携手抗衡专横的国阵政府，力求粉碎其三份之二的国会大多数议席。
这年的大选，林吉祥转移阵到升旗山区与谢宽泰打对台，而把丹绒这个安全区让给曹观友。这一年，行动党只赢10个国席（参选46席）及11个州议席（参选88席）；尤其是林吉祥与卡巴星不在其中，行动党陷入了愁云惨雾中。
林吉祥在这场大选中却输给谢宽泰，这是林吉祥第一次失去国会议员的资格，在槟城遭遇了滑铁卢。这是林吉祥从政以来的首次失去国会议员（林吉祥也同时在植物园区的州议席输给民政的丁福南）。
有日落洞之虎之称的卡巴星也在日落洞国席落马。当这两尊大炮不能在国会“炮轰”时，意味著民主行动党面临创党以来的最大挫折。
败选后的林吉祥离开了槟城，到怡保重新建立起他的根基地，在2004年的大选又重新他的政治旅程。他不再竞选州议员，他只集中在管理国会的事物，成为怡保东区国会议员。
逐渐淡出行动党领导核心
林吉祥在1999年失去了国会议员之后，党内有些声音要求他退位，开始安排郭金福接班，由郭金福担任党的秘书长。
在郭金福担任秘书长期间，有一个非常重要的议决案，即通过民主行动党秘书长职位限任3届9年，意思是说不能继续无限期地担任下去。郭金福卸任之后，则轮到林吉祥之子林冠英接棒，直到本届任期结束。
林吉祥虽然逐渐淡出行动党领导核心，但他仍持续在政坛上发挥重要的影响力。尤其是纳吉一马丑闻爆发后，林吉祥一再提倡“拯救大马运动”，极力拉拢马哈迪加入反纳吉的阵营，最后在安华被判入狱，希盟面对群龙无首的困境下，促成马哈迪主导希盟，并在2018年推翻国阵政府。
但是喜来登政变之后，行动党在多场选举失利，行动党内再次出现要求林吉祥引退的呼声。
