「林爽文之亂」結束後，當時嘉義縣轄下斗六門分縣丞將戰死的鄉勇義軍與地方仕紳予以集中收埋骨骸，葬於當時斗六門夯土城牆城南之處，即當今社口聚落周邊，並興建「南壇」義塚祭祀。到了日治時期，柯鐵、簡義等份子糾眾發起武裝抗日，並以古坑山區為據點進行游擊戰，對日本統治者造成極大的影響。日本當時利用地方仕紳對柯鐵、簡義，誘使這些武裝抗日份子下山歸降。