Kuala Lipis bermula daripada sebuah perkampungan kecil di pinggir sungai yang lokasinya di pertemuan muara Sungai Lipis dan Sungai Jelai. Di sinilah Sejarah Kuala Lipis itu bermula. Pekan Kuala Lipis mula dinaiktaraf sebagai Bandar Kuala Lipis dalam tahun 1889. Ketika itu, deretan kedai yang mulanya diperbuat daripada kayu, dan beratapkan atap rumbia atau atap pedor mula diganti dengan bangunan batu, manakala jalan raya telah dibina di dalam bandar, serta kawasan yang menempatkan jabatan-jabatan kerajaan British.  Pembangunan Bandar Kuala Lipis memang menjadi keutamaan British ketika itu berbanding dengan bandar-bandar lain di Pahang seperti Raub, Bentong, Rompin, Kuantan, dan Pekan. Justeru, beberapa bangunan yang didirikan sewaktu Pentadbiran British Pahang berpindah ke Kuala Lipis (1891) dari Pekan seperti Pejabat Pos (1910), Clifford School (1913), Kediaman Bekas SUK Pahang (1920), Rumah Residen (1922), Istana Hinggap (1926), Asrama Jururawat (1926), Stesyen Keretapi (1926), Clifford Malay Hostel (1926), dan Rumah Pegawai Daerah (1929) memperlihatkan rekabentuk bangunan hasil cita rasa Pegawai Kolonial British masa itu.  Dari segi rekabentuk bangunan yang didirikan di Bandar Kuala Lipis (Lama) itu pula, kajian menunjukkan kepelbagaian ciri seperti : “art deco”, “utilitarian”, “sino-palladian”, dan “straits eclectic”.Kebanyakan rumah kedai di Jalan Besar mula dibina ketika zaman kolonial pada awal 1920an. Dihujung jalan ada sebuah kedai (sekarang Chinese Booktore) yang siap dibina pada tahun 1930. Sementara kebanyakan rumah kedai di Jalan Jelai pula dibina agak lewat, mungkin sekitar 1950an ke atas.