世俗主义大体上乃容许个人在必要时“免于宗教”（或其他类似之意识形态）的自由，而不是要反宗教。
然而，对于极端的宗教主义者而言，“免于宗教”即等于反宗教了，因宗教在其观念中乃“不可质疑”、“不可抗拒”、“不可忤逆”、“不可背叛”的，所以宗教宗旨和标准必须规定一切、涵盖一切，谁要是不依，就没有共存的权利，如不自动消失，就得乖乖就范。
实际上，极端宗教主义者不是不了解“一种米养百种人”，也不是不了解“强扭的瓜不甜”，但为了“整体利益”著想，个体必须牺牲，就算不怎么理解信仰、认同宗教，也不可以发声，更不许张扬，不管内心多么纠结、挣扎、彷徨，都不能显露，以免影响大家的信心和士气。
更恐怖的是：个体稍微“不虔诚”，就会被极端宗教主义者批个体无完肤，甚至动用武力（包括官方授权的“合法武力”）来强迫其俯首认“罪”。
当然，也有些宗教主义者不是那么无情和霸道，而是会通过比较柔和、委婉、殷勤的方式来“纠正”或“矫正”不虔诚或不信仰者，即先耐心证明对方已“迷失”、“乖离”或“误解”，再好言好语的说服其“改邪归正”。虽说一开始即怀抱“纠正”，乃至“打救”的心态仍有点“傲慢”（若说“不傲慢”的基础在于不先入为主地审判、标签、定格互动的对象的话），但如此柔性方式还算比较“文明”的，至少不会动辄诉诸强力。
宗教生活不是义务
惟不管怎样，基于对个体的尊重，世俗主义不仅强烈反对专制的神权，也反对宗教过度涉入公共空间和生活，尤其是对个体的日常生活已造成干扰的情况之下——比如拿自家的宗教观念、标准、规范、议程等来影响公共空间和秩序的设计及运作。
换言之，世俗主义主张宗教生活只是人的选择之一，而非应尽的义务，所以公共领域不能交由宗教来“话事”。当然，宗教的“教化”功能不是不被认可，但这并不表示公共生活就可全盘交托予之。
基于“己所不欲勿施于人”的普世伦理，世俗主义并不反对宗教自由，但却反对宗教试图侵犯人们“免于宗教”的自由。
某些宗教主义者坚持建立一宗教化的公共秩序是其人的宗教自由，其实是滥用自由观念，因其一开始就否定了个体有选择的权利。
实际上，即便是虔诚的信徒，也应有于生活的某层次或方面选择不依循或牵涉宗教的权利。
