质言之，所谓“宗教自由”，理性而言，除了信仰宗教的自由，当然也包括不信仰宗教的自由。惟如此自由可具体诠释和实践到什么程度或阶段，或许一般人也没认真探讨过。比如说：某个人可以一时信仰，一时不信仰？或者一部分信仰，另一部分不信仰？又或者一时信仰甲教，另一时信仰乙教？乃至同时信仰多教？
或许在一些传统宗教主义者的理解或立场中，所谓信仰，就是“彻底”地投入到某宗教之中，没有回转、折衷或多元的选择馀地。而且他们往往支持一套极为森严，包含理论和建制的“信仰结构”，不太容许个人那么“随心所欲”。在古代，一些宗教主义者主掌大权的社会，不信仰宗教或改变宗教信仰都会被视为“叛变”，下场相当糟糕。
惟当然，古代的东亚虽宗教世界非常丰富多彩，但普遍上信仰结构却从来不会森严至绝对禁制个人的信教自由。是以传统的东亚一般百姓，乃至部分知识分子，随意出入、徜徉于各大宗教之中，可谓稀松平常不过之事。在古代中国，虽说“敬天法祖”乃理论上人人应遵循之事，但这种宗法性规范却不会对其他宗教抱著“有你无我”的态度，只要选择融合，其他宗教就大可立足。至于信教者要怎么诠释和实践敬天法祖，通常也就是自由发挥了。
无论如何，必须指出古代东亚的统治者和主流阶层当然也并非完全放纵宗教自由发展。出于维护政经文教等既定秩序，他们时不时也会对特定宗教或教派实行监督、管控，乃至扫荡，以免其殆害社会或威胁政权。这多少有点类似今天人们对“邪教”的态度——当然难免也会有些“冤案”。
不管怎样，到了今天讲究人权法治的现代社会，若要充分实现宗教自由，人们对于上述信仰结构就必须有一定的批判力，包括针对其理论和建制两方面。尤其是建制，若不解构之，至少也要调整或约束之，否则众多个人恐怕难以享有宗教上可免于恐惧（或麻烦）的自由。虽说“随心所欲”在宗教界的语境里往往有点“胡来”的意味，但在法律上，却是人权的基本原则之一（当然有其他先决或附带条件的限制）。
总之，宗教自由的确应当归结到个人作为基点的选择自由，包括上面所提的不信仰自由、部分信仰自由、改变信仰自由、多元信仰自由等。传统宗教主义者或许会对如此自由的诠释相当保留，乃至极度反感，这是可以理解的。但是，若为了宗教意识形态或组织利益而不惜持续漠视、克扣或禁锢个人合理合法的自由，那恐怕也不是什么“神圣”之事。
