Источник выражения — «Оды» Горация. Поэт обращается к вдохновляющей его музе Мельпомене:
Удивительно ли тогда,
Что показывают пальцем прохожие
На меня! Если я любим,
Я обязан тебе честию выпавшей.
Употреблялось выражение о людях, пользующихся известностью, уважением (хотя последнее и необязательно, всё зависело оттого, каким именно пальцем показывали: так, греки указательным демонстрировали уважение, а средним — презрение).
Прохожие показывают на меня пальцем