Почему мы говорим: «Скажу прямо» - а до этого человек что делал?

«Скажу прямо…» А до этого человек что делал? Ходил вокруг да около? Говорил криво? Или просто осторожно подбирался к тому моменту, когда наконец можно сказать то, что он действительно думает? Почему нас это настораживает?