楠ヶ山の熊野神社の北方、やつ田に面した山林の中には、土塁に囲まれた屋敷跡のような遺構が残っていて、地元では次のような話を伝えている。

現在の八千代市吉橋の貞福寺周辺は香取（かんどり）山といい、古くは城のあった所である。城の主は高木伊勢守胤貞といい、近隣に一族、重臣を配して勢力を振っていた。

ところが、天文年間の初めのころ（1530年代）、香取城は上杉朝定軍の急襲を受けた。味方は城にこもってよく防戦し、また城が要害の地にあるので、敵は攻めあぐんで落とすことができなかった。

けれども、城には井戸がなかったので、城外の丘の下まで水を汲みに行くしかなかった。ある夜、重臣である吉橋氏一族の武士が、松明を灯しながら水を汲みに行ったところ、松明が標的となって討たれ、間もなく城も攻めたてられて落城してしまった。

城兵のある者は討死し、ある者は夜陰にまぎれて逃げのびた。その時、先の武士の子である三人の兄弟は楠ヶ山に落ちのび、人目につかない山林中に屋敷を構えて住みついた。

やがて天下が統一され、泰平の世となったので、屋敷を山林から、南の台地下の日当たりのよい所へ移したという。

その後、子孫は吉橋姓を名乗って栄えたが、初めの屋敷地の山林を大切にし、明治になると「元祖山神宮」という石碑を建てて祀った。この石碑には先祖の霊がこもり、いたずらに移したりすると祟るという。また吉橋一族は正月の三日間はかまどの火を継ぎ足すことをしない風習であったが、これは城滅亡の因となった松明の故事によるとされている。