忆声斋，起源于明朝，是宁阳王朱载垿的书房。宁阳王朱载垿，系衡庄王朱厚燆庶五子，衡恭王朱祐楎之孙。作为衡王之后，朱载垿从小便生活于衡王在青州的府第，身为地方郡王，他为人正直，乐善好施，捐助并主持修建了青州的清真寺，该寺建成，由青州知府张连登亲笔题写寺额。以彰显青州百姓对宁阳王的爱戴。

​　　相传，宁阳王十分关心此寺的修建，施工期间，多次亲临现场查看进度，在一次回府的路上，他见路边风景优美，观赏之意油然而生，便让一众随从先行回府，自己则步行观景。不经意间便走入深林，只见林间虽树木交错，仍有一条通幽曲径，更深处仿佛有一溪流，只听得流水潺潺，清脆悦耳，如鸣佩环。于是，他便沿着脚下的曲径向林间深处走去，不久，走到小径尽头，只见一参天古树，枝叶繁茂，直通云霄，生于一灵泉中。古树上落着一只五彩灵鸟，鸡头燕颔，蛇颈鱼尾，形似凤凰，眼眸含火。这灵泉虽是环着古树，却有一小口，顺山势向低处流去，水声仿若于断崖抚琴，松沉旷远，清冷入仙，实属天籁。大喜之时，这灵鸟突然展翅，飞入灵泉中饮水，饮毕，便展翅远飞，倏然消失在他的视线之内，唯留鸣声，铿锵嘹亮，直入云霄……

　　沉醉间，一小厮的声音闯入耳帘，则古树、灵泉、小径渐渐消失，眼前只一片混沌，原来，一切都只是宁阳王在书房睡着时所做的一个梦。但梦中灵泉流水之声及灵鸟长铭之音格外清晰地存在于他的脑海，久久挥之不去。于是，他便将书房改名为“忆声斋”，以作纪念。因为梦中的祥瑞之景，忆声斋成为宁阳王府专用书房，从此，宁阳王一脉皆在此书房读诵经典、研究学问，世代相传。

　　历经明清两代历史风云激荡和民族存亡的岁月峥嵘，宁阳王后人费尽心血，将这个充满浪漫主义色彩的书斋传承下来。400多年的风雨洗礼，24代人的坚守传承，使得现今位于杭州的忆声斋愈发古朴沉静。第24代传人朱森，早年与阿里巴巴创始人马云一起戎马电商市场，公事缠身，无暇打理。如今终得闲暇，便在此书斋内与三两好友铺毡对坐、喝茶品香、赏玩主人多年藏品。

　　在茶香缕缕的清雅书斋中，与三两好友喝茶玩古，得半日之闲，可抵十年尘梦。如今，忆声斋已经成为现任传人最为倾心的清闲之地。朱森先生也表示，会让这个历经400多年岁月峥嵘的书斋永远传承下去，如此，方不负先祖，有教于后人。