Общие усилия Ли и Клейна привели Ли к открытию одной из самых важных идей в современной математике – идеи группы непрерывных преобразований, известной сейчас как группа Ли. Это концепция, совершившая революцию не только в математике, но и в физике, ведь группы Ли включают большинство самых важных видов симметрий физической Вселенной, для которой именно симметрия остается важнейшим организационным принципом – как для основополагающих философских взглядов на описание окружающего мира с помощью математических законов, так и для чисто технических расчетов.

Софус Ли создал теорию групп Ли на всплеске научной активности осенью 1873 г. Концепция групп значительно развилась со времени его ранних работ. В современных терминах группа Ли – структура, обладающая как алгебраическими, так и топологическими свойствами, тесно связанными между собой. Точнее говоря, это группа (некое множество) с операцией композиции, удовлетворяющей различным алгебраическим тождествам, особенно ассоциативному закону и топологическому многообразию (пространство, локально сходное с евклидовым, с несколькими фиксированными измерениями, которое может быть искривлено или еще как-то деформировано на глобальном уровне), с непрерывным законом композиции (малые изменения в элементах в итоге дадут малое изменение в результате). Концепция Ли была более конкретна: группа непрерывных преобразований со многими переменными. Он пришел к изучению таких групп преобразований в поисках теории разрешимости или неразрешимости дифференциальных уравнений, аналогично тому, как вышло у Галуа с алгебраическими уравнениями. Но его открытие обусловило великое множество математических приложений, причем изначально Ли нацеливался вовсе не на это.

Пожалуй, самым простым примером групп Ли является множество поворотов окружности. Любой из них однозначно определен углом от 0 до 360°. Это множество относится к группам, потому что композиция из двух поворотов также является поворотом – как сумма соответствующих углов. Это будет одномерное многообразие, потому что углы один к одному соответствуют точкам окружности, а небольшие дуги окружности – не более чем слегка искривленные отрезки той самой прямой, которая и является одномерным евклидовым пространством. Наконец, композиционный закон непрерывен, потому что малые изменения в углах в результате сложения дадут небольшое изменение их суммы.

Более любопытным примером будет группа всех поворотов в трехмерном пространстве с фиксированным началом координат. Каждый поворот здесь определяется осью – прямой, проведенной через начало координат в произвольном направлении, – и углом поворота вокруг этой оси. Для определения оси необходимы две переменные (скажем, долгота и широта точки, в которой ось встречается с соответствующей сферой с центром в начале координат) и третья переменная для определения угла поворота. Так, эта группа имеет размерность 3. В отличие от группы поворотов окружности, она некоммутативна: здесь результат объединения двух преобразований зависит от порядка их выполнения.

В 1873 г. после углубленной работы с ДУЧП Ли вернулся к теории групп преобразований, исследуя свойства бесконечно малых (инфинитезимальных) преобразований. Он показал, что такие преобразования непрерывной группы не являются замкнутыми относительно композиции, но обязательно замкнуты относительно новой операции, названной скобкой Ли и обозначаемой как [x,y]. В матричной записи это выражение называется коммутатором xy − yx для x и y. Полученная в результате алгебраическая структура известна нам как алгебра Ли. Вплоть до 1930-х гг. термины «группа Ли» и «алгебра Ли» не использовались: вместо этого говорилось о непрерывной и инфинитезимальной группах соответственно.

Существуют сильные взаимосвязи между структурами группы Ли и алгебры Ли, которую сам ученый описал в трехтомном труде «Теория групп преобразований», созданном совместно с Фридрихом Энгелем. Соавторы подробно обсудили четыре классических семейства групп, два из которых – группы поворотов в n-мерном пространстве для четного или нечетного n. Эти два случая были выбраны из-за своих выраженных особенностей. Например, при нечетном числе измерений поворот требует фиксированной оси, а в пространстве с четным числом измерений она не обязательна.