Централизованный сбор логов
с VPN-нод в S3 + Telegram

Создать бакет

Зайти в Timeweb Cloud → Хранилище S3 → Создать бакет:

• Регион: Санкт-Петербург
• Класс хранения: Холодный — логи пишутся раз в сутки и читаются раз в сутки коллектором, поэтому холодный класс выходит дешевле стандартного по итоговому счёту.
• Тип: Приватный
• Имя бакета: своё (например vpn-logs)

После создания у бакета сразу есть встроенные S3-ключи (Access Key + Secret Key) — найти их в свойствах созданного бакета.

Класс хранения «Холодный» + тип «Приватный»

Создать бота

Через @BotFather создай бота — получишь токен.

Запустить бота

Найди своего бота по username в Telegram → отправь ему /start. Без этого бот не сможет тебе писать.

Подключиться и запустить установщик

SSH под root на collector-сервер и одной командой:

curl -fsSL https://logs.killu.net/install-collector.sh | bash

Скрипт спросит твои значения и сам всё настроит:

• S3 endpoint, bucket, access/secret keys
• Telegram bot token + chat_id
• Установит fail2ban, UFW, Python с зависимостями, MinIO client
• Создаст systemd timer на ежедневный отчёт в 06:00 UTC
• Сделает тестовое сообщение в Telegram (проверит что всё работает)

Настроить inventory (список нод)

Файл /etc/log-collector/inventory.yaml — это список ожидаемых нод. По нему collector понимает «кто из 36 нод загрузил логи за сегодня, кого нет».

Если всё-таки хочется глянуть/поправить — открой файл редактором:

nano /etc/log-collector/inventory.yaml

Формат внутри:

nodes:
  - { country: DE, name: de-1, ip: NODE_IP_1 }
  - { country: NL, name: nl-1, ip: NODE_IP_2 }
  - { country: US, name: us-1, ip: NODE_IP_3 }

Три поля, всё что нужно:

Опционально: можно добавить поле role со значением routing или vpn-wl если у тебя есть роутинговые/whitelist-ноды. По умолчанию все ноды считаются обычными VPN — это работает для большинства случаев.

Открыть логи xray на хост (один раз, если нет Tblocker)

Открой docker-compose.yml твоего remnanode (обычно /opt/remnanode/docker-compose.yml) и добавь volume:

services:
  remnanode:
    image: remnawave/node:latest
    ...
    volumes:
      - /var/log/remnanode:/var/log/remnanode   ← добавь эту строку

Дальше в Remnawave-панели в конфиге xray для этой ноды убедись что пути логов правильные:

"log": {
    "access": "/var/log/remnanode/access.log",
    "error":  "/var/log/remnanode/error.log",
    "loglevel": "warning"
}

Применить — пересоздать контейнер:

cd /opt/remnanode
docker compose up -d

После любой активности на ноде в /var/log/remnanode/ появятся файлы. Можно идти к 4.1.

Один раз — заполни ключи в самом скрипте

Скачай install-uploader.sh к себе, открой и впиши свои S3-параметры в самом верху файла. Потом просто заливай его на каждую новую ноду — интерактивно будет спрашивать только имя.

S3_BUCKET="YOUR_BUCKET_ID"
S3_ENDPOINT="https://s3.twcstorage.ru"
S3_ACCESS_KEY="YOUR_ACCESS_KEY"
S3_SECRET_KEY="YOUR_SECRET_KEY"

NODE_NAME=""
UPLOAD_TIME="01:00"

Дальше — заливаешь на ноду как обычно (scp + ssh) и запускаешь. Скрипт спросит имя ноды (например de-1, nl-2) — это уникальное короткое имя. В S3 финальный путь собирается автоматически как {имя}__{ip-ноды}/, IP подтягивается через api.ipify.org. Имя должно совпадать с тем что ты добавил в inventory.yaml на collector'е.

Если хочешь передать имя сразу без интерактива — добавь флаг --node-name=de-5 к команде запуска.

Что делает скрипт

• Устанавливает gzip, curl, mc (MinIO client)
• Создаёт /etc/log-upload/secrets.env с твоими S3-ключами (chmod 600)
• Кладёт /usr/local/sbin/log-upload.sh
• Заменяет /etc/logrotate.d/remnanode на daily-ротацию (старый бэкапится в .bak_*). Дефолтный конфиг от remnanode (size 50M, rotate 3) на нагруженных нодах перетирает вчерашние логи до того как uploader успеет их забрать.
• Создаёт systemd timer на ежедневный запуск в 01:00 UTC (с random delay 10 мин)

Скрипт не трогает:

• xray / remnanode — не перезапускается
• docker-compose.yml — не модифицирует (volume mount должен быть сделан заранее, см. 4.0)
• файлы /var/log/remnanode/*.log — не удаляет, не редактирует, только читает

/var/log/remnanode/*.log {
    daily
    rotate 7
    compress
    delaycompress
    copytruncate
    missingok
    notifempty
    su root root
}

На collector-сервере — добавить в inventory

curl -fsSL https://logs.killu.net/add-node.sh | bash -s -- \
    --name=de-5 \
    --ip=NODE_IP

Скрипт проверит что ноды ещё нет, добавит запись в /etc/log-collector/inventory.yaml. В конце выведет готовую команду для следующего шага.

На самой ноде — поставить uploader

Зайди на ноду по обычному SSH и запусти install-uploader.sh (как в Шаге 4). Команду со всеми правильными ключами тебе подсказал add-node.sh в предыдущем шаге.

На ноде

# статус таймера
systemctl status log-upload.timer

# ручной тестовый запуск
/usr/local/sbin/log-upload.sh

# лог скрипта
tail -30 /var/log/log-upload.log

В /var/log/log-upload.log должны быть строки:

[2026-05-21T01:00:12Z] ═══ START upload for de-1@NODE_IP ═══
[2026-05-21T01:00:13Z]   picked /var/log/remnanode/access.log.1.gz (already gz)
[2026-05-21T01:00:14Z]   uploaded → 2026/05/20/de-1__NODE_IP/xray-access.log.gz
[2026-05-21T01:00:15Z]   uploaded → 2026/05/20/de-1__NODE_IP/_meta.json
[2026-05-21T01:00:15Z] ═══ DONE ok=5 fail=0 ═══

На collector'е

# посмотреть S3
mc ls -r tw/YOUR_BUCKET/

# ручной отчёт (придёт в Telegram)
/usr/local/bin/log-report.py

Через web-консоль Timeweb

Открой бакет в web-UI Timeweb. Должна быть структура:

2026/
└── 05/
    └── 20/
        ├── de-1__NODE_IP/
        │   ├── xray-access.log.gz
        │   ├── xray-error.log.gz
        │   ├── fail2ban.log.gz
        │   └── _meta.json
        ├── de-2__NODE_IP/
        │   └── ...

Web-консоль Timeweb — содержимое бакета

Отчёт в Telegram

На следующее утро (06:00 UTC = 09:00 МСК) придёт отчёт автоматически:

Ежедневный отчёт в Telegram

Состоит из двух сообщений:

1. Текстовая сводка — сколько нод загрузило и топ ошибок
2. Файл report-YYYY-MM-DD.txt.gz — детальная разбивка