Pejabat pos ini terletak di Jalan Besar yang telah dibina pada tahun 1910.Perkhidmatan pos berada di bawah pentadbiran Kerajaan Persekutuan. Bangunan ini telah dikongsi dengan perkhidmatan ‘telegraf ’ iaitu salah satu perkhidmatan jabatan Telekom. Apabila agensi ini diswastakan sepenuhnya pada tahun 1989, perkhidmatan ini telah dipindahkan ke bangunan utama Telekom Malaysia sekarang. 

Pada mulanya pintu masuk ke pejabat pos ini menghadap ke jalan besar,namun pada tahun 1971 telah diubah tempatnya di kedudukan sekarang ini. Perkhidmatan ini mula diswastakan pada 1 Januari 1992 dan dikenali sebagai Pos Malaysia sehinggalah sekarang. Bangunan ini telah menjalani pelbagai pengubahsuaian hinggalah dinaik taraf yang terbaru pada tahun 2002. 

Hasil usaha pengurus cawangan dan kakitangan dalam mengindahkan kawasan dan memberi perkhidmatan yang berkualiti kepada mesyarakat, pada tahun 2004 pos Malaysia cawangan Lipis telah diiktiraf sebagai pejabat pos terbaik di Malaysia. Salah satu keunikan tempat bersejarah yang terdapat di Kuala Lipis ialah batu bertanda ‘0’ berdekatan pejabat pos. Batu ini menandakan permulaan sukatan jarak bagi Negeri Pahang dimana jarak kosong bermula dari Kuala Lipis.

Sumber: Majlis Daerah Lipis