清朝康熙、雍正、乾隆、嘉慶年間，廖元仔裔孫陸續結伴自原鄉福建詔安縣官陂地區，渡海來台，其中一支散居現今西螺、二崙、崙背一帯開荒墾地，歷經百餘年在各方面漸獲安定。族內先賢為遵祖訓及加強族人間之情誼，提議集資修建祠堂，於清朝道光28年（1848）在現今西螺鎮下湳里擇吉地興建，清朝道光29年完成，堂號曰「繼述堂」，並訂定每年農曆正月11日（元仔公忌辰）為春祭日，農曆9月9日（元仔公誕辰）為秋季日。