在很久很久以前，有一支回姓的瑶民来到旺溪的神木山上打猎，见这里有山有水，风景秀美，便在神木山下选择了一块开阔地盘搭建茅屋定居,取名回家湾。勤劳的瑶民通过辛勤的劳动将荒地开垦成一块块梯田，种些包谷、高粱之类的农作物度日。后来又从西洋江的上游筑坝修渠，把水引到旱坡，开垦了一些水田，可以耕种水稻。从此，人丁兴旺，五谷丰登，日子过得红红火火。

有一天，天空乌云滚滚，风雨大作，接着从天上降下一头狗头马身的怪物，在回家湾田野到处乱窜，把绿油油的庄稼都吃了，剩下的也被糟踏得不成样子。瑶民又重新播种。不久，整个回家湾的庄稼又发新苗。谁知过了数日，又被这一怪物一食而光，弄得瑶民人心惶惶。后来，全体瑶民决定组织人员轮流看管田野, 但这怪物仍经常出来糟踏作物，防不胜防，弄得瑶民无计可施。正在大家为难之际，村里来了一位白发苍苍的老人，赶着一头水牛向回家湾走来。并边走边唱：“回家湾是个好地方，六畜兴旺粮满仓；可恨妖精来作恶，遍地庄稼都遭殃。”大家听了都感到奇怪，这老人怎么未到就先知？对这里的灾情了如指掌？便向白发老人请教解决的办法。只见白发老人登上神木山四处瞭望，然后，用手中的鞭子向山下的旺溪大峡谷一指，水牛心领神会，立即四脚腾空飞奔至怪物藏身的地方。瑶民赶到大峡谷看个究竟，只见水牛与怪物头顶着头正在搏斗，胜负难分。大家都为水牛担心。这时老人把神鞭一扬喝道：“将可恨怪物推下河去!”水牛受命，使尽力气将那怪物推下了河里。由于用力过猛，水牛一时无法收住四蹄，便和怪物一起掉到河里。怪物也不示弱，龇牙咧嘴反咬水牛。两个庞然大物在水中生死搏斗，水花四溅，浊浪滔天。一阵滚打，河床陷塌，成了几丈深的水潭。几个回合，水牛占了上风，骑在怪物背上，用锋利的牛角猛刺怪物的颈部和头颅，一会儿，潭底冒出一大串一大串的水泡。最后，怪物终于被水牛斗死，沉下潭底。水牛也负了重伤，双角折断，血流如注，染红了整个水潭。当水牛爬上岸时，仰天长吼一声，口吐鲜血，倒在了地上，只见一道金光化作一块牛形岩石，至今卧伏在水潭旁边。瑶民为水牛斗妖除害死去十分难过，一齐流泪跪拜在地。待瑶民抬起头时，只见一团白烟腾空升起，白发老人消失在云天之上。大家这时才知道，原来白发老人是天上下凡的仙人，那头水牛则是一头仙牛。

为了纪念仙牛为回家湾人民除妖献出生命，瑶民便把这个水潭命名为“仙牛潭”，并一直流传至今。