Pahang Club adalah bangunan terawal yang dibina oleh British iaitu pada tahun 1867. tapak bangunan ini merupakan tapak pertama di mana pihak Inggeris mula-mula mentadbir Pahang. Rumah ini dibina untuk tujuan kediaman Hugh Cliford yang pada ketika itu memegang jawatan ‘Superintendent’ Ulu Pahang yang menetap di Kuala Lipis. Pada Jun 1898, Kuala Lipis telah menggantikan Pekan sebagai ibu negeri Pahang. Bermula dari tarikh itu,rumah itu telah dijadikan kediaman untuk Residen british. Ketika itu Residen British ialah Hugh Cliford dan beliau telah memikirkan untuk membina sebuah kediaman yang lebih sesuai untuk memudahkan beliau mengawal kawasan Lipis. Oleh itu, beliau telah menemui tapak yang lebih sesuai iaitu Bukit Residen. Sementara menunggu rumah di Bukit Residen siap, beliau menetap di Rumah Kelab Pahangitu sehingga tahun 1922.
Apabila residen berpindah ke rumah residen pada tahun 1922, rumah kelab tersebut telah didiami oleh inspektor polis British hingga tahun 1926. Inspektor polis ini telah mengetuai keanggotaan polis British di mana ahli-ahlinya terdiri daripada orang-orang Sibu , Dayak dan Melayu serta kesemua anggota polis tersebut berjumlah 100 orang.
Pada pertengahan tahun 1926, rumah kelab ini telah ditinggalkan dan kemudiannya kerajaan Inggeris telah menjadikan rumah ini sebagai kelab khas untuk pegawai-pegawai British sahaja. Rumah yang asalnyakediaman residen ini sedikit pun tidak dilakukan pengubahsuaian terutamanya ruang dalamannya. Ini bertujuan untuk menjaga keaslian seni binanya. Semasa ia menjadi kelab Pahang, rumah ini memang dikawal rapi. Menurut Pak Razak, seorang tukang kebun, bukan sebarangan orang yang boleh naik yang mana pakaian mestilah kemas, bertali leher dan melambangkan status pada ketika itu. Bak kata Pak Razak lagi, kasut orang yang naik itu sekilat lantai kelab ini yang digilap setiap hari. Semasa rumah ini ditinggalkan dahulu, ia pernah diura-urakan untuk dijadikan istana tetapi perkara ini didiamkan kerana cadangan tersebut ditolak oleh pihak istana.
Pada tahun 1957, keahlian kelab ini hanya untuk orang-orang kenamaan, orang British dan pegawai tinggi kerajaan sahaja. Kemudian apabila Malaya merdeka, keahliannya dibuka untuk orang-orang tempatan yang berduit dan tidak mengira kaum. Secara umumnya, aktiviti kelab ini ialah untuk kemudahan rekreasi, aktiviti sukan seperti tenis, badminton dan sepak takraw. Selain itu, ia juga menjalankan aktiviti kemasyarakatan.
Sumber : Majlis Daerah Kuala Lipis
