Становилось всё очевиднее, что идеи Лагранжа ошибочны, и в научной среде росла уверенность в том, что, возможно, задача вообще неразрешима: уравнения пятой степени в принципе нельзя решить с помощью радикалов. Судя по всему, к этой точке зрения склонялся и Гаусс, но в узком кругу, хотя на публике заявлял, что не считает эту задачу достойной внимания. Возможно, это был один из немногих случаев, когда ученого подвела интуиция, обычно безошибочно указывавшая ему на самые важные вопросы. Вторым таким случаем стала Великая теорема Ферма, но тут даже Гаусс не располагал необходимыми для решения методами: для их открытия потребовалось еще два века. Однако, по иронии судьбы, именно Гаусс инициировал поиск некоторых алгебраических доказательств отсутствия решений у уравнений пятой степени. Он ввел их в своей работе о построении правильных многоугольников с помощью линейки и циркуля. И он же создал прецедент, доказав (по крайней мере, для собственного удовольствия), что некоторые многоугольники не могут быть построены таким способом. В пример он привел правильный девятиугольник. Гаусс знал об этом, но так и не записал на бумаге доказательство – то самое, которое позже предложил Пьер Ванцель. Итак, Гаусс создал прецедент для предположения, что некоторые задачи не могут быть решены некими конкретными методами.

Первым ученым, попытавшимся доказать невозможность, стал Паоло Руффини, в 1789 г. занявший пост профессора математики в Моденском университете. Изучая идеи Лагранжа о свойствах симметричных функций, Руффини пришел к убеждению, что нет никакой формулы, включающей в себя только корни n-й степени (а не что-то более загадочное), чтобы решить уравнения пятой степени. В своем труде «Общая теория уравнений» в 1799 г. он дал доказательство тому, что «невозможно алгебраическое решение для уравнений степени больше, чем четыре». Но его доказательство оказалось таким длинным – 500 страниц текста, – что никто не отважился его проверить, особенно когда пошли слухи об ошибках. В 1803 г. Руффини опубликовал новое, упрощенное доказательство, но более благожелательных откликов не последовало. Так Руффини и не удалось стяжать лавры человека, доказавшего отсутствие алгебраического решения у уравнений пятой степени.

Самым ценным вкладом Руффини в науку стало понимание, что перестановки можно как-то комбинировать. До тех пор они были переупорядочиванием некоторого набора символов. Например, если мы пронумеруем корни уравнения пятой степени как 1, 2, 3, 4, 5, эти символы можно переставить: 54321, или 42153, или 23154, или как угодно. Есть 120 возможных перестановок. Руффини догадался, что на такие перегруппировки можно посмотреть иначе – как на способ перестановки любого другого набора из пяти символов. Хитрость состояла в сравнении стандартного порядка 12345 с перегруппированным. В качестве простого примера представим, что перегруппированный порядок будет 54321. Тогда правило для получения нового варианта совсем простое: поставьте символы в обратном порядке. Но ведь вы можете поставить в обратном порядке любую последовательность из пяти символов. Если это abcde, обратный порядок – edcba. Если символы первоначально стоят так: 23451, то обратный порядок будет 15432. Этот новый взгляд подразумевает, что вы можете сделать две перестановки по очереди – своего рода умножение перестановок. В алгебре перестановок умножение такого рода и содержит ключ к уравнениям пятой степени.