Contam desde sempre os mais velhos que há muito tempo o Pão Duro se chamava Monte da Ribeirinha. O nome Pão Duro terá vindo de uma velha avarenta que dava a comer, aos homens que trazia a trabalhar para si, pão duro de vários dias. Quando se encontravam e comentavam para onde iam trabalhar na próxima temporada, diziam que iam trabalhar para a velha do Pão Duro. E assim ficou o nome da localidade. Segundo consta, a velha não terá deixado filhos!