笨港在明末清初時是一優良港口，對外貿易極盛。當時笨港以北的書生，每次科期往台南府城赴試，必經笨港街休息，惜欠一靜處讀書休憩之所。道光19 年（1839）蔡慶宗有鑑於此，首倡捐建「文昌廟」。據光緒20 年（1894）倪贊元雲林縣采訪冊載：「文昌廟在街西北，堂宇二進東西二廊。道光19年，貢生蔡慶宗倡捐巨資興建，奉祀文昌帝，以為會文講課之所。