Глоссарий

Dropout – техника регуляризации в нейронных сетях, которая предотвращает переобучение, случайным образом «выключая» некоторые нейроны во время обучения. Это заставляет сеть разрабатывать более устойчивые признаки и предотвращает сосредоточение обучения на одном нейроне или группе нейронов.

GPT (Generative Pre-trained Transformer) – семейство языковых моделей, основанных на архитектуре трансформера, разработанных OpenAI. GPT обучается на больших объемах текстовых данных и способно генерировать связный и качественный текст на основе заданного контекста.

Активное обучение (Active Learning) – подход к обучению моделей, при котором модель активно выбирает наиболее информативные примеры из доступных данных для обучения. Это позволяет сократить объем необходимых обучающих данных и ускорить обучение.

Байесовский вывод (Bayesian Inference) – подход к статистическому выводу, основанный на принципах байесовской статистики и обновлении вероятностей с учетом новых данных. Байесовский вывод используется в машинном обучении для оценки неопределенности моделей и предсказаний.

Генеративно-состязательные сети (Generative Adversarial Networks, GAN) – тип глубоких нейронных сетей, состоящих из двух компонентов – генератора и дискриминатора. Генератор создает искусственные данные, а дискриминатор определяет, являются ли данные реальными или сгенерированными. Эти две сети «соревнуются» друг с другом, улучшая свои способности, и в результате учатся генерировать реалистичные данные.

Глубокая нейронная сеть – это многослойная нейронная сеть, которая состоит из множества слоев обработки информации. Каждый слой обычно содержит множество нейронов, и каждый нейрон связан с нейронами в следующем слое. Особенность многослойных нейронных сетей в том, что они содержат скрытые слои.

Глубокое обучение (DL) – подмножество машинного обучения, которое использует нейронные сети с большим количеством слоев для обучения сложным представлениям данных и решения задач.

Задача XOR (исключающее ИЛИ) – это простая задача бинарной классификации, которая часто используется для иллюстрации ограничений однослойных нейронных сетей, таких как перцептрон. XOR – это логическая операция, которая принимает два бинарных входных значения (0 или 1) и возвращает 1, если входные значения различны, и 0, если они совпадают.

Искусственный интеллект (AI) – область компьютерных наук, направленная на создание машин, способных выполнять задачи, которые обычно требуют человеческого интеллекта, такие как обучение, решение задач, распознавание образов и естественный язык.

Классификация (Classification) – задача машинного обучения, в которой модель предсказывает категорию или класс входных данных на основе их признаков. Примеры классификации включают определение спама в электронной почте, распознавание рукописных цифр и определение типов рака на основе медицинских изображений.

Кластеризация (Clustering) – метод обучения без учителя, при котором данные группируются на основе их сходства так, что объекты в одном кластере более похожи друг на друга, чем на объекты в других кластерах.

Кросс-валидация (Cross-validation) – техника оценки производительности модели, при которой данные разделены на несколько подмножеств, и модель обучается на одной части данных, а тестируется на другой части. Это повторяется для каждого подмножества данных, и результаты усредняются для получения окончательной оценки производительности модели.

Машинное обучение (ML) – подраздел искусственного интеллекта, который фокусируется на разработке алгоритмов и статистических моделей, позволяющих компьютерам учиться и делать предсказания или принимать решения на основе данных.

Механизм самовнимания (Self-attention mechanism) – компонент нейронной сети, который позволяет модели сосредоточиться на определенных частях входных данных при выполнении задачи. Механизмы самовнимания особенно полезны при обработке последовательностей данных, таких как текст или временные ряды.

Морфологический анализ (Morphological Analysis) – процесс анализа структуры слов, включая их корни, аффиксы и формы. Морфологический анализ используется в обработке естественного языка для определения частей речи, стемминга и разрешения морфологической неоднозначности.

Нейронная сеть – математическая модель, которая имитирует структуру и функционирование биологических нейронных сетей. Нейронные сети состоят из слоев нейронов, соединенных синапсами.

Обратное распространение ошибки (Backpropagation) – алгоритм обучения нейронных сетей, который используется для минимизации ошибки, вычисляя градиент функции потерь и обновляя веса сети в направлении уменьшения ошибки.

Обучение без учителя (Unsupervised Learning) – подход к машинному обучению, при котором модель обучается на основе неразмеченных данных, исследуя структуру и взаимосвязи в данных без явных ответов.

Обучение с подкреплением (Reinforcement Learning, RL) – область машинного обучения, в которой агент обучается принимать решения, взаимодействуя со средой. Агент получает вознаграждение или штраф в зависимости от качества своих действий, и цель обучения – максимизировать суммарное вознаграждение.

Обучение с учителем (Supervised Learning) – подход к машинному обучению, при котором модель обучается на основе размеченных данных, содержащих входные значения и соответствующие им правильные ответы.

Онтология (Ontology) – формальное представление знаний в виде иерархии понятий и их связей. Онтологии используются в области искусственного интеллекта для структурирования знаний и поддержания разумных выводов.

Оптимизатор – алгоритм или метод, используемый для настройки параметров модели, таких как веса в нейронных сетях, с целью минимизации функции потерь и улучшения производительности модели.

Переобучение (Overfitting) – ситуация, когда модель слишком хорошо запоминает обучающие данные, что может привести к плохой обобщающей способности на новых, ранее не виденных данных.

Регрессия (Regression) – задача машинного обучения, в которой модель предсказывает непрерывное значение вместо дискретного класса. Примеры регрессии включают предсказание цен на жилье, прогнозирование продаж и оценку возраста по фотографии.

Регуляризация (Regularization) – техника, используемая для уменьшения переобучения и повышения обобщающей способности модели путем введения штрафов за сложность модели или ограничений на значения параметров.

Рекуррентная нейронная сеть (RNN) – тип нейронной сети, который специализируется на обработке последовательностей данных, таких как текст или временные ряды. RNN имеет память, позволяющую учитывать предыдущие состояния при обработке последовательностей.

Сверточная нейронная сеть (CNN) – тип нейронной сети, особенно эффективный для обработки изображений и распознавания образов. CNN использует свертки для анализа локальных областей изображения и извлечения признаков.

Сверточный автоэнкодер (Convolutional Autoencoder) – тип нейронной сети, используемый для изучения эффективных представлений данных без учителя. Сверточные автоэнкодеры состоят из кодировщика, который сжимает входные данные, и декодировщика, который восстанавливает данные из сжатого представления.

Семантический анализ (Semantic Analysis) – процесс изучения смысла слов, фраз и текста в контексте естественного языка. Семантический анализ часто используется в задачах обработки естественного языка, таких как машинный перевод, извлечение информации и генерация текста.

Синтаксический анализ (Syntactic Analysis) – процесс анализа и определения структуры предложений в тексте. Синтаксический анализ используется в обработке естественного языка для разбора предложений, определения грамматических отношений между словами и выявления структуры текста.

Системы мультиагентного взаимодействия – ситуации, где несколько автономных агентов, управляемых ИИ, работают совместно для достижения общих или индивидуальных целей. В качестве примеров систем мультиагентного взаимодействия можно привести умные города, роботехнику, финансовые рынки и так далее.

Трансформер (Transformer) – архитектура глубокого обучения, предложенная в статье Attention is All You Need в 2017 году. Трансформеры используют механизмы самовнимания для обработки последовательностей данных, улучшая параллелизм и обеспечивая более эффективное обучение по сравнению с традиционными RNN и LSTM.

Функция потерь (Loss function) – метрика, которая оценивает разницу между предсказаниями модели и реальными данными. Функция потерь используется для обучения модели, и ее минимизация является основной целью оптимизации.

Языковая модель – статистическая модель, которая оценивает вероятности последовательностей слов или символов в тексте. Языковые модели используются для генерации текста, исправления ошибок, машинного перевода и других задач, связанных с обработкой естественного языка.