謀略と愛する女官の死によって在位2年で譲位し出家した花山法皇。西国巡礼ののち、この峠の麓にある花山院に隠棲したとされる。法皇を慕って京から下ってきた女官たちが禁制の山に入ることができず、せめてもの慰みにとこの峠で琴を弾いたといい、峠の名前はそこからつけられた。(「兵庫の峠」)