万年五佬树的来历天宫每年巡视人间古树名木等珍稀植物，听说炎帝家乡有几棵古银杏树，玉帝特派大仙察看：大仙好酒，边喝酒边算银杏树的树龄，来到五佬树时，大仙犯难了，只见五棵大树根连根，枝连枝，觉得是个奇观，心想五棵树有大有小，怎么算树龄呢？醉意朦胧中就将五棵树的年龄一一相加，合计一万多岁。由于酒劲发作，忘记了还要除以五，就飘飘然回天庭报告玉帝了。后来有人告状说算错了，玉帝想了想五棵树合计一万多年，五树合根，象征五谷丰登，此乃大吉大利的好兆头啊！又闻是五方神仙附体，福荫黎民百姓，连声说好！于是欣然大笔一挥，写下“万年五佬树天下木之秀”几个大字。
　　五佬树的传说
　　相传，有一对兄弟，哥哥大牛，弟弟二柱。大牛精于算计，二柱憨厚本分。大牛娶了媳妇不久，父亲因病亡故，大牛便和媳妇合计与弟弟分家。他们欺负二柱老实，将家产据为己有，只将一辆破独轮车和病怏怏的老母亲留给了二柱。
　　憨厚的二柱用独轮车推着母亲沿路乞讨，来到一个叫银杏谷的地方。他发现这里有五棵银杏呈半月形分布，树龄都在千年以上，觉得是块宝地，便在此结庐而居。
　　此后，二柱每天采药、打柴奉养母亲，同时对孤寡乡邻也尽力帮扶，乡邻皆赞其孝义。到了秋天，母亲的病更重了，二柱心中焦虑，晚上睡不着，偷偷站在树龄最长的那棵银杏树下哭泣，忽然头顶出现一个苍老的声音：“小伙子不要悲伤，你是孝义之人，理应得到好报。你可以摘下我的叶子煎水给你母亲喝，将白果炒熟了吃，包你母亲恢复健康。”二柱抬头望去，隐约看见树干上有一个白胡子老爷爷，一眨眼又不见了，方才明白，原来是老树显灵了。他回家依言而行，母亲的病果然好了。
　　后来，二柱买房置地，娶妻生子，日子过得红红火火，他哥嫂的生活却每况愈下，最后竟然是吃了上顿没下顿，只好觍着脸来求弟弟收留，二柱不计前嫌，给哥嫂买了两亩地，盖了两间房。
　　二柱的故事传扬开去，于是每当初一、十五，前来五佬树祭拜的人络绎不绝。
　　五佬树是中国最贵的树这五棵古老的银杏树盘根环抱在一起，树龄合计超过1万年，创世界纪录，被誉为国家地理标志，保险金额100亿元，与黄山迎客松（树龄达800余年，是黄山市的地标和安徽省的象征之一）及武夷山的四株大红袍祖茶树（树龄350多年，投保金额1亿元）一起成为中国最贵的树。
　　一日两谒五佬树
　　五佬树是两千多年的文化层垒，是活历史，传说是炎帝夫妇所栽始祖树的后代，大家继承炎帝夫妇栽种银杏树的习俗，历尽岁月劫数，至今根深蒂固，枝繁叶茂，果实累累，心仪民俗，感恩而敬畏，视为神灵。歌谣传颂：“老树通神，心诚则灵。”因此，朝拜五佬树的信众络绎不绝。人物感应，前来求子、求财、求学位、求平安、求长寿的人都说很灵。久而久之，民间演义，一日两谒五佬树成为当地风俗并沿习至今。
　　每天巳时（11时）和未时（15时），听到钟声，银杏谷里人不管在哪里，也不管在干什么，都会原地站立虔诚地面向五佬树行注目礼，默默祈祷一分钟，沐浴一次心灵。