Об этом проекте

Vector — это open-source, end-to-end конвейер наблюдательности, написанный на Rust. Он предназначен для работы как агент на отдельных хостах, так и в роли агрегатора, позволяя одному инструменту находиться как на периферии парка машин, так и в центральной точке сбора. Основная модель: collect (сбор), transform (преобразование), route (маршрутизация). Источники поглощают данные (например, файлы, journald, Docker-логи, сокеты, HTTP и Kafka), трансформации обрабатывают их (включая язык VRL, фильтрацию, дедупликацию, log_to_metric и Lua), а приёмники доставляют данные в такие места, как Elasticsearch, ClickHouse, AWS S3, AWS CloudWatch Logs и Google Cloud Storage. Поддерживаются логи и метрики (последние отмечены как beta в README); трассировки указаны как находящиеся в разработке и пока недоступны. Операционные возможности, описанные в README, включают дисковый буфер с сохранением данных и гарантии доставки, безопасную реализацию благодаря Rust, многопоточную работу, а также документацию по валидации, управлению и мониторингу конфигурации. Развёртывание может быть настроено по ролям и топологии; документирована установка в Kubernetes. Проект поддерживается командой Community Open Source Engineering компании Datadog. В репозитории публикуются сравнения по производительности и корректности с Filebeat, Fluent Bit, Fluentd, Logstash, Splunk Universal/Heavy Forwarders и Telegraf; результаты основаны на собственном бенчмарк-наборе Vector, и утверждение о скорости до 10 раз выше альтернатив является заявкой проекта, а не независимым измерением. В README также указан перечень компаний-пользователей, объём загрузок и количество контрибьюторов. Типичные сценарии использования: снижение затрат на наблюдательность, миграция между вендорами без нарушения рабочих процессов, улучшение качества данных, консолидация нескольких агентов и повышение надёжности конвейера. Ссылки на конфигурацию, справочные материалы, руководства по быстрому старту и установке, списки интеграций компонентов, контейнерные образы и документацию по Rust-кранам можно найти на сайте проекта и в репозитории.