"Andar a pastar"

Mas por que é que a expressão "andar a pastar" é tão negativa?! Hoje de manhã pastei um bocadinho, ainda que no sentido figurado, e foi tão positivo... Nunca mais mando alguém que me esteja a aborrecer pastar.