Несколько поколений семейства Грегори особенно интересовались проблемами зрения и оптикой. В своей книге «Наследственный гений» Фрэнсис Гальтон возводит интеллектуальную историю семьи Грегори ко временам Ньютона, когда жил Джеймс Грегори, сделавший важные усовершенствования в ньютоновском телескопе. Отец Ричарда был королевским астрономом.
