嘉莉费雪有一对巨星父母──父亲是50年代赫赫有名的乐坛巨星艾迪费雪、母亲则是好莱坞一线女星黛比雷诺。
1958年，艾迪的好友迈可陶德飞机失事丧生，陶德的遗孀“玉婆”伊丽莎白泰勒也是两夫妻至交，黛比好心要艾迪安慰玉婆，最后竟演变成婚外情的丑闻，嘉莉还不满2岁，艾迪便抛家弃女，与玉婆结婚。嘉莉后来曾在她的自传《但愿长醉》中提及艾迪不伦，“用他的手帕擦干她的泪水、用花讨她欢心，最后用性器安慰她”。
嘉莉从小跟母亲黛比生活，黛比后来再嫁给一名制鞋公司富商，没想到她的继父瞒著她母亲买春，还债台高筑、花光她母亲的积蓄，让母亲大受打击、开始酗酒。嘉莉受访时回忆道：“我13岁时母亲告诉我这些事情，我的青春期已经很不好过，还与她的中年危机纠缠一起，所以我们老是对彼此大吼大叫。”她也在当时抽起大麻。
黛比的财产被不肖第2任前夫败光后，不得已带著嘉莉与嘉莉的弟弟陶德，接下并不光采的酒店歌舞秀演出工作。
嘉莉17岁从高中辍学进入演艺圈，1976年19岁时接拍《星际大战》，当时她已有迷幻药与其他药物成瘾的问题。嘉莉曾表示与母亲不睦持续了很长一段时间，但后来长大成人懂事后，她将母亲视为一名坚毅的生存者，母女后来还就近住相邻房子当邻居、共用车道。她甚至居中扮和事佬，帮助母亲与玉婆和好，化解多年恩怨。
她与父亲的关系同样爱恨交织，她说年轻时很崇拜自己的父亲，但她不满父亲1999年在自传里对母亲有不实且恶意的指控，气得从此与父亲疏离，直到2008年父女关系才又好转。她与父亲艾迪都被毒瘾所戕害，她曾说吸毒对她而言是一种自我治疗，能够舒缓她的躁郁症症状，“毒品让我感觉正常”。
她拍摄《星际大战5部曲：帝国大反击》时，吸食的是一级毒品古柯碱，“我渐渐察觉到自己吸的毒好像比别人多，后来已身不由己”。1985年她混合处方药与安眠药吸食过量送医，后来这些经历都被她写进半自传小说《来自边缘的明信片》里。
