林连玉在1961年8月被褫夺公民权继而吊销教师注册证，一个多月后发表“答各方慰问函”。函中引用梁任公的话：“十年以后当思我”、“行见不利林连玉者，终须成为林连玉之信徒，以平等对待各民族也。”如此信心，源自林连玉十余年来，置个人利害于度外，坚持奉行民族平等、民主精神及言论自由的立场。他之所行所事，“硁硁然以此为鹄的”，他认为“乃深爱马来亚、效忠马来亚之表现耳”。如此正大刚直，才能铿锵直言：十年以后当思我；思的不是他个人的“我”，而是他的主张，他的理想，他的“威武不屈”，他的“贫贱不移”。
林连玉的事迹与精神，是大马华族史重要篇章，是攸关华族定位价值的文化遗产。
甚至郑良树博士认为，在青史的记录里，华族社会几乎一直在交白卷，直至林连玉的出现。如何诠释、维护与承传林连玉的事迹与精神，是众人重要工作，为自身的安身立命，为来者亮一盏明灯，继往开来。
人的记忆，需要凭借实物与文字。林连玉去世后，林连玉基金委员会分两方面进行对他的记忆工作。一方面，整理、编撰、出版林连玉遗著及有关林连玉的篇章；另一方面，建设林连玉墓园，内置文化走廊、林连玉小史刻字、林连玉浮雕、林连玉著名开斋节献词——《心理的建设》四语碑文等。前者对了解林连玉事迹及其精神较深入，层次较高但推广也较有局限。后者则能让更多人参与，通过特定的空间与纪念性的建筑物，以及在该空间周而复始举办的庄严仪式与追思活动，大家齐聚，缅怀故人、触摸历史、感愤时事，在互动中共铸集体的记忆，在潜移默化中获得启发。
墓地美化为墓园
林连玉去世时，治丧委员会由15华团组成，墓地由雪兰莪福建会馆福建义山报效，占地约20X30尺，是双人穴，原属义山的保留地。
墓园由苏天助设计，最初的设计需地25尺宽、64尺长，但不获福建义山当时领导层同意，只好按20X30尺重修设计图。由于墓地不宽，每年公祭的人潮只好漫布在马路上。直至2008年，人事几番变迁，林连玉基金向雪兰莪福建会馆再次申请林连玉墓地旁边一块空地，终获准八千方尺，把墓地扩建及美化为墓园，由孝恩园委派澳籍建筑师Amir Andrew Browning义务设计，由永春会馆联合会赞助建筑费。
扩建美化墓园动土礼在2008年3月23日举行，是2008年308“政治海啸”后两周，当时林连玉基金主席陆庭谕老师致辞说：
墓园设计的意义
“在这马来西亚两线制政府轮替执政的可能性出现曙光的时刻来美化林连玉墓园，让人感触良深，因为躺在这儿的一代伟人——我们的族魂，就曾因坚持各民族权利与义务一律平等的理念而受到当权者的迫害；而50年后的今天，各族人民终于开始摒弃这霸道、贪污及种族主义的政权了。”
“众所周知，林连玉先生50年前就是自由民主人权的先行者。他主张各民族共存共荣，多元文化多彩多姿。如今的“政治海啸”是各民族人民抛弃族群成见共同掀起，它让林连玉精神涌现在马来西亚的政坛上；今天在场及不在场的各位，都应向这位先知先觉、身体力行的英雄致敬！”
墓园设计的文化象征意义有以下几点：
1）圆的广场为中心：圆体现了宽容、忍耐与共存，也体现了人与自然、人与天的沟通。
2）“我们是一家人”巨型壁画：子孙的未来系于各族人民“多彩多姿、共存共荣”的愿望与决心。（此壁画每隔几年由不同的独中制作（第一届制作者是柔佛峇株巴辖华仁中学，第二届是吉隆坡循人中学）。）
3）“心理的建设”碑文：以华、国、淡、英四种语文呈现，林连玉希望各族人民应有的心理建设。
4）林连玉小史刻文：认识林连玉、学习林连玉。
5）“横挥铁腕批龙甲，怒奋空拳搏虎头”对联一副：感受林连玉澎湃不屈的精神。
林连玉浮雕与石像：“林连玉”作为一个人是他自己，作为集体的记忆则代表了一个时代、一种文化、一股精神。
孝恩文化基金执行长王琛发博士说：“一块墓碑是战士的纪念，对死者的纪念是对战斗精神的期望。一座墓园可以把历史延续到当代，在当前的记述是对未来的寄望。”扩建以及美化后的墓园肩负著如此的使命。
墓园与纪念馆是两位一体的；墓园供举行庄严的追思公祭仪式，环境空间无法承载可供瞻仰的文物。因此当15华团治丧委员会讨论林连玉墓地时，也建议在墓旁建间纪念室，并于1986年1月4日治丧结束后成立的林连玉基金委员会的第一次会议上，议决致函福建义山要求批准在墓地附近建造林连玉纪念馆。1987年7月，时任林连玉基金委员会财政拿督黄美才也曾建议在大马福联会计划的纪念馆多间纪念室中辟一为“林连玉纪念室”。
纪念馆献议终通过
中国南安县水头镇山前顶乡公益事业董事会曾于1987年11月来函表示该董事会乃华侨性质，拟在开放区水头奎峰山建一所华侨小学，因钦佩林连玉先生一生为公忘私的高风亮节，准备为他建一座纪念馆，让林连玉先生的光辉事迹永垂不朽，经费由他们自筹。1992年，林连玉基金委员会第13次会议建议在教总大厦设立林连玉纪念馆，内部设计构思可取自文良港P.Ramlee纪念馆。同年第15次会议通过秘书处提呈的“设立林连玉纪念室计划”，原则上同意在教总大厦内设立，并授权教总去进行，林连玉基金负责经费，当时预算5万元。
该计划前言说：“纪念林连玉及发扬林连玉精神的工作，涉及硬体及软体设施二大方面。软体方面包括书籍、出版物、录音带、录影带、各类文化活动及奖励文教界人才等。硬体的则指设立一个具有文化气质的林连玉纪念室，使人们立于其前，行走其间，参观有关文物，自然而然地会提振精神，让后人兴起承接民族教育大业之使命感。”
1996年林连玉基金会务报告中有一项是：有关设立“林连玉纪念馆”和“林连玉藏书阁”事，由于董总有计划在董教总教育中心设立“马来西亚华教史料文物室”，以收集华族先贤的资料和遗物，因此需待了解情况后始作安排。
林连玉基金获得注册
至1997年，第一间林连玉大楼及林连玉纪念室倒先在中国福建永春师范学校落成，乃由永春《桃源乡讯》一篇有关林连玉的报导引发，福建及港澳梁氏堂兄弟起而促成——梁良斗捐资、梁披云提供资料、梁灵光以省长身份开幕；后二者曾与林连玉在尊孔共事。2000年永春师范学校在“实施素质教育工作意见”内有条文提及：开辟学校德育教育基地，以校园建设、“敬德园”、“林连玉纪念馆”、“校史馆”、“郑文尧先生纪念馆”、宣传栏等为阵地，组织学习座谈讨论，畅谈体会，激发学生爱国热情、弘扬民族精神，每年至少开展大型专题活动2次以上。陆庭谕老师、尤培胜先生、姚丽芳及廖文辉博士，于2005年往福建永春复印林连玉家书、寻访其故居时，也特参访该师范学校的林连玉大楼及设在大楼内的林连玉纪念室。此外，1997年林连玉亲妹子林子贞来函告知，泉州和厦门市华侨博物馆内有悬挂林连玉巨幅相片供人瞻仰。
回到国内，1999年，尊孔董事会及校友会在林连玉基金的建议下同意在尊孔独中设林连玉纪念馆。最终把一栋大楼命名为林连玉楼，并在图书馆内置设林连玉资料展示部门。2009年，金马士黄亚花与苏启慧这对热心华教的夫妇，以自身的力量在沈慕羽纪念馆的基础上，再增设林连玉资料馆及陆庭谕文物馆，连同原先的“明心见性”图书馆，合称为“红楼四馆”，闻名到访者甚众。另外尚有霹雳瓜拉光新村三圣庙在庙内设立林连玉灵位，供当地人祭拜，是草根群众的自动自发，甚有特色。甚至有热心人士捐助吉隆坡华小校长协会办公楼层并指定以林连玉命名。
林连玉基金本身经历十年申请及几番折腾，终于在1995年获得注册，创会章程的宗旨第二条列明“修建管理并维持林连玉墓园及纪念馆”。此时董教总也正紧锣密鼓、热火朝天进行著新纪元学院大规模的筹款与建设工程。直到2007年，林连玉基金修改章程，扩大队伍，并开始策划林连玉纪念馆筹款及建设工作，与数华团交流后，决定觅地建馆。
