縱貫鐵道自南北分段施工，於明治36年（1903）底，南段自打狗通達他里霧街，從此改變他里霧市街原先對外交通運輸模式，昭和20年（1945）車站再度重建。大日本製糖株式會社自當時五間厝工場鋪設鐵道路線，明治43年（1910）跨越虎尾溪進入他里霧街，並興建「他里霧驛」，藉以銜接縱貫官線火車，再將貨物運輸各地。

斗南車站設於明治36年（1903），早期稱為「他里霧驛」，車站一側還有座大日本製糖株式會社他里霧停車場（五分車站），與斗南驛採雙鐵共構，即所謂的三軌設計，可以走五分車也可以走一般的火車，過去虎尾糖廠在製糖產量高峰時，透過糖鐵五分車將糖成品從虎尾運到斗南再運回日本。此外，早期雲林海線的許多貨物都是透過糖鐵轉運到斗南，再經縱貫線火車配送至全台各地，或外銷出口。