Menurut cerita rakyat pada jaman dahulu ada sebuah desa bernama Desa Bayang Sari. Kepala Desa Bayang Sari konon katanya mempunyai Dua anak laki-laki yang sama sama ingin menjadi Kepala Desa (Kuwu), maka kedua saudara tersebut sepakat untuk membagi Desa menjadi dua yaitu Desa Pasirpanjang dan Desa Pabuaran.

Desa Pasirpanjang berada di sebelah utara. Pasirpanjang adalah gabungan dari dua kata yaitu Pasir dan Panjang. Pasir yang berarti Pegunungan atau bukit, sedangkan kata panjang berarti memanjang. Dari penggabungan arti kata tersebut maka pasirpanjang adalah sebuah desa yang berada dibawah pegunungan/bukit yang memanjang dari arah barat ketimur yaitu pegunungan LIO dan Halimun.