歷經日治的耆老會慣稱「五層樓仔」，不過戰後出生，差不多六、七十歲左右的人會說「消防組」，而現在的人則會講誠品書店或星巴克。這棟興建於昭和14年（1939），位在林森路上的建物正式名稱是「虎尾郡合同廳舍」，是隸屬於虎尾郡役所的直轄單位。合同廳舍原是「消防」和「警務」的聯合辦公廳舍。日治時期消防人員必須派人輪流在塔樓最高處駐守，掌握虎尾市街周邊的動靜，發生火警時敲鐘通知警消人員前往救援。

虎尾糖廠在藤山雷太接手經營後，興建一幢設備齊全、空間相當寬敞、樓高兩層，用以提供員工和眷屬平時集會的空間，名為「清交俱樂部」活動中心。另外更在大正4年（1915）興建一棟外觀相當典雅，屋頂呈現四坡水的建築物，名之為「和樂館」。此棟建物用以播放電影，或是聘請劇團前來演出的場所，提供糖廠員工及眷屬平時的休閒娛樂。