传说在很久以前，在杭州西湖边的城隍山下有一位卖松糕的年轻人，是一个姓孟的绍兴人，由于人们总也不知道他的名字，所以最后都叫他小绍兴。小绍兴每天半夜就要起床磨米粉、蒸松糕，天亮后再挑起糕担沿街叫卖，以此来养活自己和瞎眼的母亲。

有一年的大年初一，城隍山上山下游人如织。不大一会儿功夫，小绍兴的松糕便卖得仅剩下一小块破了角的了，小绍兴想起母亲还未吃早饭，便留下了这块破了角的糕准备带回家去给母亲吃。当他走到城隍庙时，只见一位衣衫褴褛、须发皆白的老人，正头枕在两只破碗上伸手向人们乞讨，便非常同情地摸出几文铜钱递给老人。谁知老人却不要铜钱只要讨块松糕吃，小绍兴便拿出留给母亲的那块松糕递给了老人，老人不客气地吃了下去。小绍兴回到家里以后把此事告诉了母亲，母亲对小绍兴的行为十分赞许。这以后，每天走过庙门口时只要看见那老人，小绍兴便会送给他一块松糕。

一天， 老人见小绍兴愁眉不展地递给他一块糕时便问道：“遇到有什么不如意的事了吗？”小绍兴答道：“因连日阴雨、生意清淡，我娘吃了卖剩下的松糕后得了病，现在茶饭不思。”老头听后，哈哈一笑说：“别着急，要吃的没有，良药我这可有。”说着，从怀里掏出个葫芦交给小绍兴，并嘱咐他做松糕时将葫芦里的药放到松糕里，这样他娘的病就会好。

老人说完话就像一阵清风一样不见了，小绍兴方知遇到了神仙。想到老人每天躺在那口对口在一起的破碗时，猛然醒悟到这就是吕洞宾。

小绍兴高高兴兴地回到家中，按照吕洞宾指点制松糕的方法，先把葫芦里的药倒出一点儿放進糕粉里制成糕胚，再放到旺火上蒸熟蒸透，等糕冷却后再一块一块地排放在炭火上烘烤成金黄色。这样烘烤出来的松糕会散发出一股奇香，三天三夜水米未進的老母亲闻到这股异香，顿时觉得腹中饥饿想吃松糕，老母亲吃下糕后第二天病就好了。

从此，小绍兴就一直用这个办法制糕。由于这种糕奇香扑鼻、食之松甜可口，大家都赞不绝口。于是改松糕的名为“香糕”，又因为香糕是小绍兴做出来的，又被称做“绍兴香糕”。后来，人们才知道这香糕里放進去的药就是中药里的砂仁。因为砂仁性温，能理气宽胸、健脾和胃、增進食欲，适用于脾胃气滞以及消化不良等症。这样才使得香糕成为一种长盛不衰、备受人欢迎的传统小吃。