Название происходит от слова «губа» (предположительно псковского происхождения), которое означало административный округ.
18
Особое контрольно-финансовое учреждение под названием «Счетный приказ» появится в середине XVII века; самые ранние упоминания о нем относятся к 1647 году.