北港聚奎閣又名文昌祠，係於1839年（道光19年）由北港貢生蔡慶宗所創建，做為北港的社學。據雲林縣採訪冊的記載，文昌祠原先位於北港街西北，有堂宇兩進，東西二廊。

聚奎閣奉祀五文昌夫子，也是本地科舉功名的搖籃，笨港首位進士黃登瀛即是出自聚奎閣。日本人領台之後，聚奎閣日益傾頹，地方人士遂將五文昌神像遷入北港朝天宮右畔奉祀。