Централизованный сбор логов
с VPN-нод в S3 + Telegram

Создать бакет

Зайти в Timeweb Cloud → Хранилище S3 → Создать бакет:

• Регион: Санкт-Петербург
• Класс хранения: Холодный (логи читаются редко)
• Тип: Приватный
• Имя бакета: своё (например vpn-logs)

После создания у бакета сразу есть встроенные S3-ключи (Access Key + Secret Key) — найти их в свойствах созданного бакета.

Создать бота + узнать свой Telegram ID

Через @BotFather создай бота — получишь токен. Через @userinfobot узнай свой Chat ID.

Запустить бота

Найди своего бота по username в Telegram → отправь ему /start. Без этого бот не сможет тебе писать.

Подключиться и запустить установщик

SSH под root на collector-сервер и одной командой:

curl -fsSL https://logs.killu.net/install-collector.sh | bash

Скрипт спросит твои значения и сам всё настроит:

• S3 endpoint, bucket, access/secret keys
• Telegram bot token + chat_id
• Установит fail2ban, UFW, Python с зависимостями, MinIO client
• Создаст systemd timer на ежедневный отчёт в 06:00 UTC
• Сделает тестовое сообщение в Telegram (проверит что всё работает)

Настроить inventory (список нод)

После установки отредактируй файл со списком твоих нод:

nodes:
  # country / name / ip / role
  - { country: DE, name: de-1,    ip: 91.92.34.5,       role: vpn }
  - { country: DE, name: de-2,    ip: 94.26.90.182,     role: vpn }
  - { country: NL, name: nl-1,    ip: 151.240.151.122,  role: vpn }
  # ...добавь все свои ноды

Это нужно чтобы collector знал ожидаемый список нод и мог сравнить «кто загрузился / кто нет».

Запустить на каждой ноде

SSH под root на ноду → одной командой:

curl -fsSL https://logs.killu.net/install-uploader.sh | bash -s \
    --bucket=YOUR_BUCKET_ID \
    --endpoint=https://s3.twcstorage.ru \
    --access=YOUR_ACCESS_KEY \
    --secret=YOUR_SECRET_KEY \
    --node-name=de-1

Внимание: node-name — это уникальное имя ноды (например de-1, nl-routing) — оно используется в пути S3 ({node-name}__{ip}/). Должно совпадать с тем что ты прописал в inventory.yaml на collector'е.

Что делает скрипт

• Устанавливает zstd, gzip, curl, mc (MinIO client)
• Создаёт /etc/log-upload/secrets.env с твоими S3-ключами (chmod 600)
• Кладёт /usr/local/sbin/log-upload.sh
• Создаёт systemd timer на ежедневный запуск в 01:00 UTC (с random delay 10 мин)
• Запускает тестовый прогон

Скрипт не трогает:

• xray / remnanode — не перезапускается
• файлы /var/log/remnanode/*.log — не удаляет, не модифицирует
• встроенную ротацию remnanode (она сама делает .log.1.gz каждые сутки)

Массовая раскатка

Для быстрой установки на 20+ нод используй bash-скрипт rollout.sh.example — заполни массив NODES и запусти.

На ноде

# статус таймера
systemctl status log-upload.timer

# ручной тестовый запуск
/usr/local/sbin/log-upload.sh

# лог скрипта
tail -30 /var/log/log-upload.log

В /var/log/log-upload.log должны быть строки:

[2026-05-21T01:00:12Z] ═══ START upload for de-1@91.92.34.5 ═══
[2026-05-21T01:00:13Z]   picked /var/log/remnanode/access.log.1.gz (already gz)
[2026-05-21T01:00:14Z]   uploaded → 2026/05/20/de-1__91.92.34.5/xray-access.log.gz
[2026-05-21T01:00:15Z]   uploaded → 2026/05/20/de-1__91.92.34.5/_meta.json
[2026-05-21T01:00:15Z] ═══ DONE ok=5 fail=0 ═══

На collector'е

# посмотреть S3
mc ls -r tw/YOUR_BUCKET/

# ручной отчёт (придёт в Telegram)
/usr/local/bin/log-report.py

Через web-консоль Timeweb

Открой бакет в web-UI Timeweb. Должна быть структура:

2026/
└── 05/
    └── 20/
        ├── de-1__91.92.34.5/
        │   ├── xray-access.log.gz
        │   ├── xray-error.log.gz
        │   ├── auth.log.gz
        │   ├── fail2ban.log.gz
        │   └── _meta.json
        ├── de-2__94.26.90.182/
        │   └── ...

Отчёт в Telegram

На следующее утро (06:00 UTC = 09:00 МСК) придёт отчёт автоматически:

Состоит из двух сообщений:

1. Текстовая сводка — сколько нод загрузило, топ ошибок
2. Файл report-YYYY-MM-DD.txt.gz — детальная разбивка