中山大学的永芳堂，因为这幢建筑在设计上有一些别出心裁，并不是规规矩矩的方块楼，并且门口有18尊伟人的铜像。就从这些不同的设计风格开始，就有了各种各样的传说，比如因为建筑造型的问题，有人说成像陵墓，也有传说修建永芳堂的老板女儿死于非命，而建此楼，得名永芳堂。传闻太多，又多个版本，以至于现在重新修整后的永芳堂让很多大学生都不敢踏入，只是远远地拍照。
据说上永芳堂的楼梯，早上数阶梯数和下午数的数目是不一样的。据传说，夜晚台阶少是为了打开阴间地狱的大门。首先，永芳堂整个建筑呈八字展开。两边尖锐，像劈刀一样斩向两边。前方建筑由三个弧形组成，都说环抱有情，反弓无情，三个弧形像三把刀一样斩同对面的草坪，门口又有十八位先贤铜人像，左右对立而站，有对立争斗之意。
前面名堂一览无遗，远观永芳堂，正面像一个灵柩一样安静地放在那里，形成极其冲煞的格局，同时又像张开的怀抱，外加18铜像，形成一个极阴极凶的阵，让深入的人都出不来，留在阵中，只吞不吐，所以曾经一手打造起这个阴宅的人，也葬身于此。原来永芳堂闹鬼的真相就是因为风水的问题，在门前种树就可以遮挡它的煞气了。
