# Свой сайт логов: от пустого VPS до первого архива

Logs Killu — стартовый комплект для небольшого приватного архива: сайт, коллектор, агент и установщики. Подходит для обычных серверов, приложений и VPN. Ноды при установке не нужны: вы добавляете их позже через кабинет. Это открытый шаблон для самостоятельного развёртывания, не управляемый облачный сервис.

Все имена, адреса, конфигурации и события в примерах вымышлены. `example.com` и адреса `192.0.2.0/24`, `198.51.100.0/24`, `203.0.113.0/24` служат только для документации. Замените их своими. В комплекте нет действующих паролей, ключей, приватных логов или настроек чужой инфраструктуры.

## Что получится

- Тёмный кабинет Logs Killu, адаптированный под телефон. Логи и готовые резервные копии бота — в отдельном разделе.
- Обзор: источники на связи, сохранённый объём, очередь и почасовой график с наведением, касанием и управлением стрелками.
- Добавление и редактирование серверов: имя, IP, страна, заметка. История и токен сохраняются при смене IP. Отключение без удаления архивов.
- Telegram: потеря связи, очередь, свободное место, ошибки отправки и восстановление. Пороги, тест доставки, защита от повторов.
- Журнал изменений и техническое состояние коллектора.
- Список проверенных архивов, фильтр по источнику, страницы и скачивание через короткоживущую S3-ссылку.
- Приватный S3-бакет. Ключи S3 есть только у коллектора, а не у каждой ноды.
- Агент отправляет закрытые архивы, коллектор сверяет SHA-256 до загрузки и после полного чтения из S3. Только после проверки появляется запись в каталоге.

Это архивный каталог, а не поисковая система по содержимому логов. В первой версии нет live tail, полнотекстового поиска, многопользовательских ролей, автоматической настройки Xray, почтовых уведомлений и истории CPU/RAM. Для системных метрик можно отдельно поставить Beszel. Не выдавайте подтверждение архива за доказательство полноты всех исходных логов.

## Как устроено

```text
Закрытые архивы на сервере
  → агент + индивидуальный токен
  → HTTPS → коллектор (проверка размера и SHA-256)
  → приватный S3 → полное чтение и сверка SHA-256
  → SQLite-каталог → сайт владельца

Браузер → HTTPS → Caddy → 127.0.0.1:8787 → приложение
```

В этой простой версии архив проходит через коллектор. Он не хранит постоянную копию, но ему нужны временное место и сетевой трафик. Проверка чтением из S3 тоже расходует трафик. Для большой инфраструктуры ИИ-задание описывает развитие через presigned/multipart-загрузки; они не включены в этот стартовый агент.

## Что подготовить

1. Чистый VPS с Debian 12/13 или Ubuntu 24.04, root-доступ по SSH и Python 3. Начальная конфигурация: 2 vCPU, 2 ГБ RAM, 20 ГБ диска. Это ориентир, не гарантия ёмкости: нагрузка зависит от архивов и числа одновременных отправок.
2. Собственный домен, например `logs.example.com`. Создайте A-запись на IP VPS. AAAA создавайте только при работающем IPv6. Не используйте адреса из примера буквально.
3. Разрешите входящий TCP 80 для проверки сертификата и выбранный HTTPS-порт (обычно 443, для тестов можно 7443). Сохраните SSH-доступ. Установщик не меняет firewall, SSH, Docker и работающие приложения.
4. Приватный S3-бакет и отдельные ключи с минимально нужными правами на этот бакет. Приготовьте endpoint, регион, имя бакета, Access Key и Secret Key.
5. Пароль владельца от 16 символов. Его зададите интерактивно; пароль не сохраняется в исходниках.

Не отправляйте ключи в публичный чат и не загружайте заполненные конфигурации на сайт инструкции. Для ИИ укажите путь к защищённому файлу на вашем сервере, а не значения секретов в запросе.

## Selectel как пример S3

В своём проекте Selectel создайте приватный бакет, сервисного пользователя и S3-ключ. Доступ определяется сочетанием роли пользователя и политики бакета. Убедитесь, что разрешены операции записи/чтения объектов и multipart для этого бакета; общий доступ на все ваши проекты не нужен.

Пример параметров, которые заменяются вашими:

```ini
S3_ENDPOINT=https://s3.ru-1.storage.selcloud.ru
S3_REGION=ru-1
S3_BUCKET=example-private-log-archive
S3_ACCESS_KEY_ID=REPLACE_WITH_YOUR_ACCESS_KEY
S3_SECRET_ACCESS_KEY=REPLACE_WITH_YOUR_SECRET_KEY
```

`ru-1` — пример пула. Правильный endpoint и регион возьмите из своего проекта. Стартовый комплект использует подпись S3v4 и path-style; при другой настройке бакета задайте `S3_ADDRESSING_STYLE=virtual` в защищённом runtime.env и проверьте доступ. Не делайте бакет публичным и не добавляйте браузерный CORS ради работы кабинета: браузер обращается к коллектору.

Класс хранения выбирайте по частоте чтения, стоимости запросов, трафика и минимальному сроку хранения. «Холодный» не всегда дешевле для часто читаемых данных. Lifecycle-удаление по умолчанию не включайте.

Официальные источники: [S3 API Selectel](https://docs.selectel.ru/api/object-storage-s3/), [доступ к S3](https://docs.selectel.ru/s3/about/manage-access/), [endpoint и ключи после обновления](https://docs.selectel.ru/s3/manage/configure-storage-update/).

## Быстрый запуск без ИИ

Скачайте `log-atlas-starter.tar.gz` и `SHA256SUMS` с сайта инструкции. Загрузите их на свой чистый VPS через SFTP или SCP. Команды ниже выполняются на вашем сервере в каталоге с этими файлами.

```bash
sha256sum -c SHA256SUMS
tar -xzf log-atlas-starter.tar.gz
cd log-atlas-starter
less install-collector.sh
sudo bash install-collector.sh
```

Контрольная сумма обнаруживает повреждение загрузки; она не является независимой цифровой подписью. Перед запуском прочитайте установщик.

Установщик спросит домен, публичный порт, параметры S3 и пароль владельца. Ключи вводятся скрыто. Он установит Python-окружение и Caddy, проверит запись/чтение небольшого тестового объекта, создаст системного пользователя, сервис и HTTPS-конфигурацию. Проверочный объект остаётся под префиксом `_setup/`.

После установки откройте свой адрес, например `https://logs.example.com`. Для порта 7443 адрес будет `https://logs.example.com:7443`. Войдите паролем установки. Кабинет будет пустым — это правильно: ни одного чужого источника или демонстрационного архива в реальной установке нет.

Установщик рассчитан на чистый VPS и остановится при существующем Caddy или установке Logs Killu. Это не команда обновления. Если установка прервалась, прочитайте сообщение и диагностику; не удаляйте конфигурации вслепую ради повторного запуска.

## Первый тест: источник без рабочих логов

1. В разделе **Серверы** добавьте источник: имя, IP и страна. Это запись о существующем сервере, не покупка VPS.
2. Нажмите **Получить команду**. Адрес коллектора и индивидуальный токен уже включены. Укажите каталог готовых архивов, для бота при необходимости — отдельный каталог копий.
3. Нажмите **Скопировать команду** и выполните её в SSH-терминале нужной ноды (Debian/Ubuntu, sudo или root). Команда скачает агента с вашего коллектора, создаст выбранные каталоги, установит конфигурацию с правами 600 и запустит таймер.
4. Оставьте окно подключения открытым: статусы обновляются каждые пять секунд — источник добавлен, агент на связи, архив получен. Пустой каталог даёт отчёт о состоянии, но не архив.

Команда содержит секретный токен: не публикуйте её. После закрытия окна можно выпустить новый через **Подробнее → Сменить токен**; старый сразу отзывается. Для уже установленного агента установщик откажется перезаписывать конфигурацию: сохраните резервную копию `/etc/log-atlas-agent/config.json`, замените её файлом из **Если нет данных → Скачать конфигурацию**, сохраните права 600 и запустите сервис. При смене каталога сначала создайте его на ноде.

Агент не настраивает журналирование приложения. Направьте ротацию логов в выбранный каталог; принимаются завершённые .gz, .zst, .zip старше минуты. Для проверки после установки на тестовой ноде:

```bash
printf 'example event: upload verification\n' | gzip > /tmp/example-test.log.gz
sudo install -m 600 /tmp/example-test.log.gz /var/spool/log-atlas/example-test.log.gz
# Подождите минимум минуту, затем запустите проверку:
sudo systemctl start log-atlas-agent.service
sudo journalctl -u log-atlas-agent.service -n 30 --no-pager
```

Если выбрали другой каталог, замените путь в примере. Таймер повторяет проверку примерно каждые пять минут.

В кабинете появятся свежий heartbeat и один проверенный архив. Скачайте его и сравните хеш с оригиналом:

```bash
sha256sum /var/spool/log-atlas/example-test.log.gz
sha256sum /path/to/downloaded/example-test.log.gz
```

Хеши должны совпасть. Повторный запуск агента не должен создавать второй объект. Удалите временную копию конфигурации из Downloads/SFTP после проверки; рабочая защищённая копия лежит в `/etc/log-atlas-agent/config.json`.

## Подключение настоящих источников

Повторите добавление в интерфейсе для каждого своего сервера. Не копируйте один токен на все ноды. Укажите уже существующий каталог закрытых, неизменяемых `.gz`, `.zst` или `.zip` архивов. Имя файла: латиница, цифры, точки, дефисы и подчёркивания; до 160 символов.

Агент просматривает только верхний уровень каталога, пропускает символические ссылки, принимает файлы старше минуты, от 1 байта до 512 МиБ. Он отправляет не более десяти файлов за цикл, хранит локальные квитанции, но никогда не удаляет оригиналы. Пустые, большие или изменившиеся файлы требуют внимания. Для большого потока запланируйте размер ротации и ёмкость диска.

Агент не включает логи в приложении, не монтирует Docker volumes и не меняет logrotate. Если приложение пишет только внутрь контейнера, сначала настройте экспорт по документации приложения в согласованное окно. Не вставляйте универсальную команду пересоздания контейнера на рабочем сервере.

Ротацию настраивайте отдельно: предпочтительно rename + поддерживаемое приложением reopen, затем сжатие завершённого файла. `copytruncate` имеет окно потери/дублирования и не гарантирует целостность потока. Нельзя считать активный `access.log` готовым архивом. Даже с выключенным удалением в агенте системный logrotate может удалять старые файлы по своей политике — согласуйте её с очередью и доступным местом.

Если отключить источник в кабинете, токен перестанет приниматься, история останется. Чтобы окончательно остановить локальные запросы, на сервере выполните `systemctl disable --now log-atlas-agent.timer`. Отключение в кабинете не выключает и не отменяет аренду VPS.

## Управление серверами

В разделе **Серверы → Изменить** доступны имя, IP, страна и заметка. Правка сохраняет ID источника, его токен, историю и архивы. IP — инвентарное поле: сайт не меняет адрес интерфейса на VPS и не подключается к серверу по SSH. После переезда установите агента с действующей конфигурацией на новом сервере и остановите старый экземпляр; не запускайте два агента с одним токеном.

В **Подробнее** видны версия агента, число файлов в очереди, последний архив, общий объём и ID источника. Там же доступны архивы, смена токена, отключение и удаление. Удаление отзывает токен и убирает источник из списка; архивы остаются в разделе «Архивы» с пометкой «удалён». VPS, файлы ноды и S3 не удаляются. Чтобы остановить агент на ноде, выполните `sudo systemctl disable --now log-atlas-agent.timer`; уже запущенный цикл может завершиться отдельно. Экспорт списка содержит только инвентарные поля, без токенов. Поиск работает по имени, IP и коду страны. Журнал событий сохраняет до 2000 записей, интерфейс показывает последние 100.

## Telegram-уведомления

1. Создайте отдельного бота через @BotFather. Отправьте своему боту `/start`.
2. Узнайте числовой Chat ID из обновлений своего бота методом [getUpdates](https://core.telegram.org/bots/api#getupdates). Не передавайте токен сторонним ботам. Для группы добавьте туда своего бота, отправьте ему команду и возьмите `message.chat.id` из ответа.
3. В **Уведомления → Telegram** сохраните токен и Chat ID. Пустое поле токена при следующем сохранении сохраняет прежний ключ.
4. Нажмите **Отправить тест**. Успех означает подтверждение Telegram, а не только сохранённую настройку. Ошибка показывается в кабинете и журнале.
5. Установите пороги и включите переключатель. По умолчанию: нет отчёта 15 минут, очередь больше 1 ГиБ, свободно меньше 2 ГиБ. Ошибки отправки можно включать отдельно.

Коллектор проверяет состояние раз в минуту. Новое состояние вызывает одно сообщение; неизменное не повторяется. Восстановление вызывает отдельное сообщение. При сбое отправки повтор идёт с увеличением интервала до 15 минут. Доставка может повториться при сбое процесса после ответа Telegram, но до записи квитанции: это не гарантия exactly-once. Не больше десяти успешных уведомлений за один цикл. Отключённые источники пропускаются.

Новый источник получает время на установку агента, равное порогу отсутствия связи. Старый отчёт не используется для вывода о текущей очереди или диске. Сам коллектор не способен сообщить о собственном полном отключении — для этого нужен внешний мониторинг.

Токен хранится в `/var/lib/log-atlas/telegram.json` с правами 0600 и не возвращается через API. Включите файл в защищённый бэкап. **Удалить подключение** удаляет токен и выключает отправку. В публичном демо поля секретов отключены и сообщения не отправляются.

## Дизайн и демо

Кабинет называется Logs Killu. Отдельного раздела изменения оформления нет. Для адаптации шаблона под другой проект редактируйте `static/style.css` и `static/index.html`; настройки работы коллектора от дизайна не зависят.

Публичное демо использует только вымышленные данные в браузере. IP-адреса принадлежат диапазонам документации. Изменения источников и порогов видны в демо-журнале, но реальные серверы не подключаются. В установочном архиве демонстрационной базы нет.

## Что проверять после запуска

```bash
systemctl status log-atlas.service caddy --no-pager
journalctl -u log-atlas.service -n 50 --no-pager
journalctl -u caddy -n 50 --no-pager
curl -fsS http://127.0.0.1:8787/healthz
# На сервере-источнике:
systemctl status log-atlas-agent.timer --no-pager
journalctl -u log-atlas-agent.service -n 50 --no-pager
```

`healthz` подтверждает только работающий процесс. Полная проверка — закрытый тестовый архив → heartbeat → S3 → скачивание и сравнение SHA-256. Проверьте, что без входа каталог и скачивание возвращают 401, при неправильном токене загрузка запрещена, а после отключения источника его токен не принимается.

Проверьте сайт на телефоне и компьютере: вход, пустое состояние, добавление, скачивание конфигурации, поиск, архивы, hover/touch/стрелки на графике, редактирование IP без потери истории, уведомления и журнал. Проверьте рестарт коллектора и агента, повторную загрузку, отсутствие дубликатов. Возраст отчёта свыше 15 минут означает отсутствие свежих данных; очередь показывается только по свежим отчётам.

## Если не работает

| Симптом | Что проверить |
| --- | --- |
| Домен не открывается / нет сертификата | A/AAAA, публичный DNS, порты 80 и HTTPS, журнал Caddy, отсутствие лишнего проксирования нестандартного порта |
| 502 | `log-atlas.service`, loopback 8787, runtime.env, права каталога состояния |
| 403 на входе | Точное совпадение `PUBLIC_ORIGIN` со схемой, доменом и портом в браузере |
| 429 при входе | Лимит восемь попыток за 15 минут; за reverse proxy в комплекте он общий, поскольку клиентом приложения является Caddy |
| Источник ждёт агента | Токен, DNS, HTTPS, путь конфигурации, запуск таймера; пустой каталог всё равно должен дать heartbeat |
| 401 у агента | Источник отключён или токен был заменён; скачайте новую конфигурацию при смене |
| 413 | Размер отдельного архива превышает 512 МиБ или лимит reverse proxy |
| 422 | Имя/расширение файла, изменившийся архив, неверный SHA-256 или Content-Length |
| 503 при отправке | S3 endpoint/ключи/права, сеть, журнал; квитанция не создаётся, файл остаётся для повтора |
| 507 | Коллектору не хватает временного места: нужен размер архива плюс резерв 1 ГиБ; проверьте диск, не удаляйте неподтверждённые данные |
| Очередь растёт | Скорость сети/диска/S3, лимиты цикла, размер и частота ротации; не скрывайте это зелёным статусом |

Для диагностики не публикуйте токены, runtime.env, содержимое приватных логов и подписанные S3-ссылки. Настройте своего Telegram-бота в разделе уведомлений и проверьте тестовую доставку.

## Пути, бэкапы и перенос коллектора

| Где | Путь |
| --- | --- |
| Код коллектора | `/opt/log-atlas` |
| Настройки и секреты | `/etc/log-atlas/runtime.env`, root-only 0600; `/var/lib/log-atlas/telegram.json`, 0600 |
| Каталог | `/var/lib/log-atlas/catalogue.sqlite` и WAL/SHM |
| Агент | `/usr/local/sbin/log-atlas-agent.py` |
| Конфигурация агента | `/etc/log-atlas-agent/config.json`, root-only 0600 |
| Квитанции агента | `/var/lib/log-atlas-agent` |
| HTTPS | `/etc/caddy/Caddyfile` |

Каталог и runtime.env нужны для восстановления, S3 хранит сами архивы. SQLite копируйте через backup API или при остановленном сервисе; не копируйте только основной файл при активном WAL. Пример согласованной копии:

```bash
sudo install -d -m 700 /root/log-atlas-backup
sudo python3 - <<'PY'
import os, sqlite3
os.umask(0o077)
src=sqlite3.connect('/var/lib/log-atlas/catalogue.sqlite')
dst=sqlite3.connect('/root/log-atlas-backup/catalogue.sqlite')
with dst: src.backup(dst)
dst.close(); src.close()
PY
sudo cp -a /etc/log-atlas /root/log-atlas-backup/config
# Если Telegram настроен:
sudo test ! -f /var/lib/log-atlas/telegram.json || sudo cp -a /var/lib/log-atlas/telegram.json /root/log-atlas-backup/
```

Сохраните защищённую копию вне VPS и проверьте восстановление в отдельном окружении. В стартовом комплекте нет автоматического расписания бэкапов: настройте своё. Копия файлов и успешная загрузка не равны проверенному восстановлению.

При переносе подготовьте новый VPS и тот же бакет, сохраните базу, telegram.json, токены, session secret и домен. Для финальной копии остановите запись на старом коллекторе, перенесите согласованное состояние, переключите DNS/прокси и запустите единственного писателя. Агенты повторят отправки после восстановления связи. При том же домене их URL менять не нужно. S3-архив не требуется копировать ради замены VPS. До завершения проверки сохраняйте старый сервер для отката; не допускайте двух независимых писателей и отката базы поверх новых записей.

## Установка рядом с существующим сайтом

Автоустановщик не предназначен для такого режима и остановится. Для администратора/ИИ: создайте отдельного системного пользователя, каталоги, Python venv и unit как в `install-collector.sh`, выберите свободный loopback-порт и выполните S3-проверку из скрипта. Секреты создайте интерактивно через `configure.py` и проверьте 0600. Код в `/opt/log-atlas` должен быть читаем сервисным пользователем; каталог состояния должен принадлежать ему.

Добавьте отдельный site-блок в существующий Caddyfile, не заменяя остальные сайты. Пример для своих домена и свободного порта:

```caddyfile
logs.example.com:7443 {
    request_body {
        max_size 536870912
    }
    reverse_proxy 127.0.0.1:8787
}
```

Проверьте конфигурацию `caddy validate --config /etc/caddy/Caddyfile --adapter caddyfile`, затем reload. Проверьте и старый сайт, и новый. Caddy нужен входящий порт 80 для HTTP challenge; если он недоступен, настройте другой поддерживаемый способ выдачи сертификата. Не используйте `curl -k` и отключение проверки TLS как постоянное решение.

## Обновление и удаление

Перед обновлением сохраните код, базу и конфигурацию, проверьте новую версию отдельно. Заменяйте только файлы приложения, а не runtime.env. Для изменения backend нужен контролируемый restart сервиса, для статических файлов обычно достаточно обновления файлов. Повторно запускать первичный установщик поверх существующего экземпляра нельзя.

Для остановки отключите `log-atlas.service` и таймеры агентов, уберите только относящийся к этому сайту блок reverse proxy после проверки конфигурации. Удаление бакета, базы, исходных архивов и серверов — отдельное явное действие. Старые установщики предыдущего гайда больше не применяются; миграция с них не выполняется автоматически.

## Работа с ИИ-агентом

Скачайте `AI-TASK.md` и установочный комплект. Передайте их агенту, заполните несекретные параметры и укажите защищённый источник доступа. Задание требует сначала осмотреть существующий сервер, затем развернуть, проверить и передать результат. Если вы хотите только изменить дизайн, ограничьте задачу файлами интерфейса.

Агент не должен запрашивать все ваши пароли в открытом тексте, использовать данные автора гайда, включать публичный бакет или перезапускать VPN ради установки сайта. Не считайте работу завершённой по одному скриншоту: нужны результаты теста отправки/чтения и проверка доступа.

## Границы проверки этого выпуска

Проверены API на тестовом S3-эмуляторе: авторизация, CSRF, создание источника, heartbeat, загрузка/чтение/дедупликация, отказ S3, смена токена, отключение, редактирование IP, Telegram-дедупликация, восстановление и повтор доставки после сбоя; два каталога агента, фильтры логов/копий, ограниченный предпросмотр gzip и полнота данных диска. Интерфейс проверяется в браузере на компьютере и телефоне. Синтаксис установщиков и Python проверен.

Этот выпуск не проверялся с вашим Selectel-проектом и не является гарантией производительности. Чистая установка на всех перечисленных ОС и аварийное восстановление всей системы не сертифицированы. Установщик выполняет S3-проверку уже с вашими реквизитами; обязательно пройдите тест первого архива до подключения рабочей нагрузки. Версии Python-пакетов закреплены в requirements.txt; обновляйте их отдельно с тестами. TLS и размещение секретов включены, но это не независимый аудит безопасности.

## Обновление с 1.0 до 1.1

Сделайте согласованную копию базы и настроек, остановите сервис, замените app.py и каталог static из нового комплекта, проверьте права чтения для сервисного пользователя и запустите сервис. Колонки IP/заметок и таблицы событий добавляются автоматически; источники и токены сохраняются. Откат на старый код выполняйте с резервной копией базы до миграции, без перезаписи накопленных после обновления данных. В уведомлениях начальное состояние — выключено, пока вы не подключите своего бота.

## Логи и резервные копии бота

В разделе **Бот → Подключить бота** создайте источник типа «Бот». Укажите каталог закрытых логов в `archive_dir` и, при необходимости, отдельный каталог готовых резервных копий в `backup_dir`. Агент отправит файлы с разными типами. Каталоги должны существовать; активные файлы и символические ссылки не принимаются.

```json
{
  "collector": "https://logs.example.com",
  "token": "REPLACE_WITH_YOUR_SOURCE_TOKEN",
  "archive_dir": "/var/spool/example-bot/logs",
  "backup_dir": "/var/backups/example-bot"
}
```

Источник хранит тот же ID и токен при правке IP. В разделе бота есть фильтр источника, вкладки логов и резервных копий, дата последней копии и скачивание. Для gzip-логов доступен просмотр начала файла: до 128 КиБ распакованного текста при чтении не более 1 МиБ сжатых данных. Резервные копии и zstd/zip доступны только для скачивания.

Комплект не создаёт дампы БД, не перезапускает бота и не перенастраивает его logger. Подготовьте закрытые журналы и согласованные резервные копии штатными средствами своего приложения. Активную SQLite-базу нельзя просто gzip-ить: используйте SQLite Backup API; для других БД — их средства резервного копирования. Успешная загрузка копии не заменяет проверку восстановления.

Одинаковые байты в одном источнике дедуплицируются. Если они уже сохранены как лог, повторная отправка как резервной копии отклоняется с409; выберите правильный каталог до отправки.

## Заполнение диска и обновление до 1.2

Агент1.2 передаёт свободное и полное место файловой системы `archive_dir`. Индикатор показывает округлённую долю занятого места: менее70% — зелёный, 70–89% — оранжевый, от90% — красный. Если отчёт старше15минут, размера диска нет или он некорректен, цветной индикатор отсутствует. У старых агентов может быть только свободное место; для процента обновите агент. Если копии лежат на другом диске, этот индикатор его не измеряет.

Перед обновлением сделайте согласованную копию базы и настроек. Замените app.py и static, перезапустите сервис по своему плану обслуживания; новые колонки источников и объектов добавятся автоматически. Старые источники получат тип «Сервер», объекты — «Лог». Для бота выберите тип в карточке. Обновите agent.py на своих источниках; рабочие config.json и квитанции сохраняйте.

## Ежедневные отчёты и старые архивы S3

В разделе **Уведомления** включите Telegram, укажите токен и Chat ID, включите **Ежедневный отчёт** и сохраните настройки. По умолчанию сводка за предыдущий день приходит в 09:00 по Москве. Можно выбрать час и UTC. **Отправить тест** проверяет только доставку сообщения; **Отчёт сейчас** отправляет сводку за вчера один раз. Повторное нажатие не создаёт дубликат. Пропущенный отчёт после перезапуска отправляется, если коллектор заработал после назначенного часа. Отчёт содержит количество источников с архивами, объём и список источников без архивов за день.

**Агент на связи** означает, что heartbeat дошёл. Это не доказывает загрузку логов. Если каталог агента пуст, очередь будет нулевой. Укажите каталог реальных завершённых `.gz`, `.zst`, `.zip` и настройте ротацию приложения; сам агент не создаёт логи и не упаковывает активные файлы. В карточке проверяйте отдельно последний архив. Если другой скрипт выгружает файлы прямо в S3, heartbeat нового агента не учитывает его ошибки.

Коллектор каждые пять минут читает список объектов S3 и индексирует прежний формат `YYYY/MM/DD/source__IP/archive.log.gz`. Изменение IP не требует удаления истории: связь определяется по уникальному имени источника либо совпадению IP. Неоднозначные старые источники остаются отдельными отключёнными записями «Архив · имя». Проверяйте соответствие имён перед подключением существующего bucket. Другие форматы ключей требуют отдельного адаптера; содержимое S3 не удаляется и не перемещается. Файл `_meta.json` не считается логом. Импорт из S3 подтверждает наличие объекта в списке, но не объявляет его содержимое проверенным SHA-256. Новые загрузки через API коллектора проверяются полным чтением обратно.

Для обновления установленного коллектора сначала сохраните `/opt/log-atlas`, `/etc/log-atlas` и согласованную SQLite-копию `/var/lib/log-atlas/catalogue.sqlite` через SQLite backup API. Затем из проверенного свежего комплекта замените **app.py, maintenance.py и static/** в `/opt/log-atlas`, сохранив права чтения для пользователя log-atlas. Выполните `/opt/log-atlas/venv/bin/python -m py_compile /opt/log-atlas/app.py /opt/log-atlas/maintenance.py`, затем `sudo systemctl restart log-atlas`. Установщик чистого VPS повторно не запускайте. Секреты и конфигурации источников сохраняйте прежними.

Проверка после обновления: `sudo systemctl status log-atlas --no-pager`, `sudo journalctl -u log-atlas -n 50 --no-pager`, появление архивов в панели и запись «Ежедневный отчёт … доставлен» в событиях. Наличие `_setup/` или heartbeat без первого архива не является успешной проверкой сбора. Если архивов за вчера нет, отчёт честно покажет отсутствие данных. При сетевом отказе сначала различайте доступ к коллектору, S3 и api.telegram.org; успешный тест Telegram не проверяет S3 или ноды.
