Часть II. Анализ данных с помощью языковых моделей

Для работы с языковыми моделями на малых объемах данных достаточно использовать веб-интерфейс. Но что делать, если данных много?

В главе 3 мы рассмотрим мощную библиотеку для Python от OpenAI, которая позволяет вызывать языковые модели напрямую из кода Python. Мы обсудим самые важные функции библиотеки, в том числе различные параметры, с по­мощью которых можно дообучать языковую модель под ваш конкретный сценарий использования.

В главе 4 мы обсудим несколько мини-проектов, в которых с помощью языковых моделей OpenAI и библиотеки для Python выполняется анализ коллекций текстовых документов. В частности, проекты охватывают классификацию текстовых документов по нескольким предопределенным категориям, извлечение конкретных фрагментов информации из текста и кластеризацию похожих текстовых документов.

В главе 5 показано, как языковые модели помогают в анализе структурированных данных: табличных и графовых. Здесь языковые модели используются как интерфейс, переводящий вопросы о данных (написанные на естественном языке) в формальные запросы, которые можно обработать специализированными инструментами анализа. Например, в главе демонстрируется, как с помощью языковых моделей можно создавать интерфейсы, переводящие вопросы в запросы на языке SQL, которые могут обрабатываться с помощью реляционных систем управления базами данных.

В главе 6 вы увидите, как языковые модели справляются с анализом изображений и даже видеороликов. Среди примеров проектов — использование языковых моделей для ответа на произвольные вопросы об изображениях, составленные на естественном языке, а также для поиска пар изображений, на которых запечатлен один и тот же человек. Кроме того, в главе показано, как языковые модели позволяют автоматически создавать подписи к видео на основе их содержания.

Глава 7 посвящена аудиоданным: в ней рассматриваются распознавание и генерация речи. Например, вы увидите, как использовать модели OpenAI для создания интерфейса голосовых запросов, отвечающего на голосовые вопросы о табличных данных. Кроме того, мы создадим инструмент для перевода голосового ввода на одном языке в голосовой вывод на другом языке в соответствии с указаниями пользователя.