Рассказывают, что Горбунов всех своих рабочих знал в лицо и называл по имени-отчеству.
Пьянство среди своих работников он, по понятным причинам, не одобрял. Но уж если кто «загудел», приходил к таким сам, давал денег на опохмелку, говоря при этом: «Давай, чёртова рожа, выхаживайся, а завтра чтоб на работе был».
Сохранилось несколько вариантов истории о том, как распекал Горбунов своего посыльного или приказчика за то, что тот ездил по делу в соседний уезд и вернулся ни с чем.
«Не нужны мне такие работники. Велю сейчас заложить лошадей, положу в дрожки свою клюшку, кучер отвезет её куда надо, и по одной моей клюшке всё поймут люди и всё дадут. А ты человек, а работать не умеешь!»