Выражение возникло из высказываний М. Е. Салтыкова-Щедрина, определяющих общественно-политическую беспринципность, двойственность.
В рассказе «Похороны» (1878) он дает такую характеристику беспринципной либеральной литературы: «Тянуть бесконечную канитель неведомо об чем, распинаться неведомо по поводу чего, поучать неведомо чему, преследовать неведомо какие цели, жить в постоянном угаре, упразднить мысль и залеплять глаза пустословием, балансировать между «с одной стороны, нужно сознаться» и «с другой стороны, нельзя не признаться» — вот удел современного литературного солдата!»
Это же выражение встречается у писателя еще раньше, в «Дневнике провинциала в Петербурге», глава 9 (1872):
— Неужели же нет никаких мер против этих негодяев?..
— К сожалению, должно признаться, что таких мер не существует, хотя, с другой стороны, нельзя не сознаться, что если бы земские управы взялись за дело энергически, то суслики давно были бы уничтожены.