Предисловие
Elastic Stack — это мощный набор инструментов для распределенного поиска, анализа, сбора и визуализации данных в массивах данных различного размера. Новейший Elastic Stack 6.0 отличается новыми функциями и возможностями, которые позволяют пользователям находить уникальные решения. В этой книге мы дадим вам фундаментальное понимание работы программного обеспечения и научим эффективно пользоваться мощными приложениями по обработке данных в реальном времени.
Сначала мы кратко рассмотрим новые функции Elastic Stack 6.0, после чего вы узнаете, как устанавливать инструменты, и познакомитесь с их базовыми конфигурациями. Далее вы увидите, как использовать Elasticsearch для распределенного поиска и анализа, Logstash — для сбора данных, а Kibana — для визуализации данных. Будет продемонстрировано создание пользовательских плагинов с помощью Kibana и Beats. Поговорим об Elastic X-Pack — полезном расширении для реальной защиты и мониторинга. Мы также дадим вам полезные рекомендации по использованию Elastic Cloud и развертыванию Elastic Stack в производственной среде.
Структура книги
Глава 1 «Введение в Elastic Stack» знакомит с основными компонентами Elastic Stack, объясняет их роль в общей структуре, описывает назначение каждого компонента. В этой главе также рассказывается о необходимости распределенного, масштабируемого поиска и анализа, которые достигаются с помощью Elasticsearch. В конце приводится руководство по скачиванию и установке Elasticsearch и Kibana, чтобы можно было начать работу с этими инструментами.
Глава 2 «Начало работы с Elasticsearch» знакомит с ключевыми принципами работы поисковой системы Elasticsearch, которая является основой Elastic Stack. Вы познакомитесь с такими концепциями, как индексы, типы, узлы и кластеры. Вы также узнаете, как использовать REST API для выполнения основных операций.
Глава 3 «Поиск — вот что важно» фокусируется на методах поиска, предоставляемых Elasticsearch. Вы узнаете об основах анализа текста, токенизаторах, анализаторах, особенностях релевантного поиска. В этой главе также приводятся практические примеры релевантного поиска.
Глава 4 «Анализ данных с помощью Elasticsearch» расскажет о различных типах агрегации. Она включает примеры, которые позволят вам лучше понять принципы анализа данных. Вы научитесь использовать различные виды агрегаций — от простейших до сложных, чтобы сориентироваться в огромных массивах данных. Прочитав эту главу, вы узнаете, когда и какой вариант агрегации лучше задействовать.
Глава 5 «Анализ журнальных данных» содержит информацию о необходимости использования Logstash, его архитектуре, установке и настройке. В Elastic 5 предоставляется инструмент Ingest Node, который может заменить конфигурацию Logstash. Прочитав эту главу, вы научитесь создавать контейнеры с использованием Elastic Ingest Node.
Глава 6 «Разработка контейнеров с помощью Logstash» дает основополагающие знания о Logstash, позволяющем динамически идентифицировать данные из различных источников и нормализовать их с помощью выбранных фильтров. Вы узнаете, как наличие широкого набора фильтров ставит Logstash в один ряд с другими фреймворками потоковой обработки в реальном и околореальном времени без написания кода. Вы также познакомитесь с платформой Beats и компонентом FileBeat, используемым для транспортировки лог-файлов (файлов регистрации) с удаленных машин.
Глава 7 «Визуализация данных в Kibana» показывает эффективность использования Kibana для визуализации и впечатляющего представления ваших данных. На примере простого набора данных описывается создание визуализаций в пару кликов.
Глава 8 «Elastic X-Pack» рассказывает о расширении Elasticsearch. К этому времени вы уже изучите Elasticsearch и его ключевые компоненты для создания контейнеров данных и сможете подключать расширения для решения конкретных задач. В этой главе вы прочтете, как установить и настроить компоненты X-Pack в Elastic Stack, усвоите азы безопасности и мониторинга и научитесь добавлять различные уведомления.
Глава 9 «Запуск Elatic Stack в работу» дает рекомендации по запуску комплекса Elastic Stack в промышленную эксплуатацию. Вы получите рекомендации по внедрению вашего приложения в работу и изменению стандартных настроек согласно требованиям эксплуатации. Вы также узнаете, как использовать облачные сервисы Elastic Cloud.
Глава 10 «Создание приложения для анализа данных с датчиков» описывает создание приложения для анализа и обработки данных, получаемых из различных источников. Вы узнаете, как моделировать данные в Elasticsearch, создавать контейнеры данных и визуализировать их в Kibana. Вы также научитесь эффективно использовать компоненты X-Pack для обеспечения безопасности и мониторинга ваших контейнеров, получать уведомления о различных событиях.
Глава 11 «Мониторинг серверной инфраструктуры» демонстрирует возможности использования Elastic Stack для настройки мониторинга в реальном режиме времени для серверов и приложений, которые созданы целиком на Elastic Stack. Вы познакомитесь еще с одним компонентом платформы Beats — Metricbeat, который применяется для мониторинга серверов/приложений.
Что вам понадобится для работы
Все примеры, которые приводятся в книге, созданы с использованием следующих версий инструментов:
• Elasticsearch 6.0;
• Kibana 6.0.
Для кого предназначена книга
Книга предназначена для специалистов, работающих с большими объемами данных и желающих надежно извлекать их из любого источника в любом формате, а также искать, анализировать и визуализировать данные в режиме реального времени. Эта книга для вас, если вам необходимо фундаментальное понимание работы Elastic Stack в сферах распределенных вычислений и обработки данных в реальном времени. Знание JSON будет преимуществом, но не является обязательным. Также не требуется какой-либо опыт работы с другими версиями Elastic Stack.
Условные обозначения
В книге вы увидите текст, оформленный различными стилями. Ниже приводятся примеры стилей и объясняется, что означает это форматирование.
Фрагменты кода в тексте, названия таблиц баз данных, названия папок, имена и расширения файлов, пользовательский ввод выделены моноширинным шрифтом. Адреса URL и ссылки на Twitter — рубленым. Например: «Следующий код читает ссылки и присваивает их функции BeautifulSoup». Фрагмент кода выглядит таким образом:
#import packages into the project
from bs4 import BeautifulSoup
from urllib.request import urlopen
import pandas as pd
Когда требуется обратить особое внимание на конкретные фрагменты кода, они выделяются жирным шрифтом:
[default] exten => s,1,Dial(Zap/1|30)
exten => s,2,Voicemail(u100)
exten => s,102,Voicemail(b100)
exten => i,1,Voicemail(s0)
Любой ввод или вывод командной строки отображается следующим образом:
C:\Python34\Scripts> pip install -upgrade pip
C:\Python34\Scripts> pip install pandas
Новые термины или важные слова выделены курсивом. Слова, которые вы видите на экране, например в меню или диалоговых окнах, в тексте выглядят следующим образом: «Для скачивания новых модулей перейдите по адресу Файл—>Настройки—>Имя проекта—>Интерпретатор проекта».
Предупреждения или важные заметки выглядят так.
Советы выглядят так.
Загрузка примеров кода
Примеры кода для выполнения упражнений из этой книги доступны для скачивания по адресу https://github.com/PacktPublishing/Learning-Elastic-Stack-6. Чтобы скачать файлы, выполните следующие действия.
1. Перейдите по адресу https://github.com/PacktPublishing/Learning-Elastic-Stack-6.
2. Нажмите кнопку Clone or download (Клонировать или скачать).
3. На открывшейся панели щелкните на ссылке Download Zip (Скачать Zip).
После того как архив будет загружен, можете распаковать его в нужную папку, используя последнюю версию одной из нижеперечисленных программ:
• WinRAR или 7-Zip для Windows;
• Zipeg, iZip или UnRarX для macOS;
• 7-Zip или PeaZip для Linux.
Скачивание цветных изображений, использованных в книге
Мы предоставляем оригинальный PDF-файл с цветными изображениями, скриншотами и схемами, которые используются в этой книге. На цветных иллюстрациях лучше видны изменения вывода. Вы можете скачать файл по ссылке: https://www.packtpub.com/sites/default/files/downloads/LearningElasticStack6_ColorImages.pdf.
