关于寿山石的生成，民间流传着许多美丽的传说。有的说是女娲当年补天路过寿山，被这里的青山秀水所陶醉，翩然起舞，将五色彩石散落在这里的山坡、溪畔和田野里，化成了这光彩夺目的宝石。有的说是远古一只凤凰神鸟的彩蛋液渗入寿山附近的地下变成了寿山石。

　　还有一种说法，寿山起初不叫寿山。这座山附近住着一个年轻樵夫，名叫陈长寿。陈长寿自小喜欢下棋，且棋艺高超。有一天他上山砍柴，见两位白发老者正在山顶的一块大石头上对弈。陈长寿就挑着担子来到一旁观战。两位老者见这位年轻人看得如此聚精会神，似乎颇通棋艺，就邀他对弈。陈长寿也不推迟，就坐下来与两位老者交上了手。虽然两位老者棋艺老道，不想却被这位年轻人连赢了几局。一位老者手捻长髯笑道：“真想不到凡间竟有这等好手，老夫佩服!”两位老者见长寿衣裳朴素，颇为清贫，心存怜惜，就将所用棋子送给长寿，吩咐他今后不必再上山砍柴，自有好日子过。说完只觉一阵清风拂面，已不见两位老者的踪影。

　　陈长寿带着两位老者送的棋子，挑起担子回家。走在路上不小心摔了一跤，手中的棋子散落了一地。说来奇怪，一个个棋子都变成了五颜六色的石头，大石头又生出小石头，捡也捡不完。陈长寿回到家里将这事告诉妻子。于是他们夫妻每天都上山捡石头，挖石头，再拿到集市上去卖，赚了不少钱，夫妇的日子慢慢好起来了。此事一传十，十传百，没多久，附近的人都知道了，大家都上山去找石头。后来人们就将这座山叫寿山，把棋子变成的宝石叫寿山石。