Kuala Lipis dahulunya pusat perlombongan emas sebelum British tiba pada 1887. Pada 1898 ia menjadi ibu negeri Pahang sehingga 1955.

Semasa zaman ini, bangunan penjajah utama, seperti Pejabat Daerah dan SMK Clifford yang pernah mendidik tokoh negara tersergam indah, dan Pahang Club telah dibina. 

Bandar ini membesar dan maju selepas pembinaan landasan kereta api pada 1924. Walau bagaimanapun, pada 1955, ibu negeri telah berpindah ke Kuantan, dan Kuala Lipis tidak lagi pesat membangun. Ia sekarang menjadi peringatan zaman silam.