feat: implement Pillars 2-4 and fix a production false-positive in Pillar 1
Pillar 1 v1.1 (shipped earlier) flagged benign browsing bursts as beaconing: on short captures, grid periods longer than the observed span never complete a cycle, so significance saturates to 1 and the score sticks at exactly 0.5. v1.2 caps the grid at a third of the observed span, requires a minimum number of completed cycles, and excludes protocols that are periodic by nature (NTP, DNS, mDNS, ICMP). Validated against 300 seeds per scenario: false positives on bursty traffic drop from the 290-300/300 that v1.1 produced to 0/300, with every beacon-detection scenario scoring unchanged. Add Pillar 2 (persistent/long-lived sessions, with Zeek's fragmented TCP sessions rejoined after a 5-minute gap), Pillar 3 (DNS tunneling via Shannon-entropy information volume per subdomain per hour; the Jensen-Shannon divergence was measured and does not separate tunnels from benign CDN subdomains, so it stays in the evidence at zero weight instead of in the score), and Pillar 4 (deterministic noisy-OR fusion across the three pillars). The fusion formula was validated against 8 labeled real-traffic vectors (IoT-23, CTU-Normal) with tolerance <= 1e-4. A known limitation is kept, not hidden: a benign Philips HUE bulb's strict periodic polling and a 21.9h session score it above three real C2 hosts. No weight or threshold was tuned to mask this; it is documented in the architecture docs instead. Also fixes real bugs found along the way: ingest_dir's partition count summed file names instead of distinct dates, DuckDB errors were counted as bad rows, /api/alerts always returned an empty list regardless of the last analysis, and the dashboard still claimed every pillar was unimplemented. Restores four design corrections that were missing from docs/architecture.md (KL to Jensen-Shannon, the persistent-session detector, the JA4 licensing boundary, and deterministic reduction order), and catalogs the public datasets used for validation (IoT-23, CTU-Normal, Mendeley DTQBC) with their licenses and SHA-256 checksums under research/validation/. Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01VAyr8d7HuAdUGB6aA5xmDD
This commit is contained in:
1 parent
8a80504c45
commit
c64bbbf775
41 files changed
+4034
-348
No files matched your search
+19
-20
@@ -2,38 +2,37 @@
|
||||
|
||||
[English](ROADMAP.md) · **Português**
|
||||
|
||||
Este roadmap separa o que existe do que está planejado. Os quatro pilares estão
|
||||
**em desenvolvimento**; eles representam o trabalho analítico principal.
|
||||
Este roadmap separa o que existe do que está planejado. Os quatro pilares de detecção
|
||||
estão implementados em sua **versão inicial (v1)** e validados contra tráfego público.
|
||||
|
||||
## Feito
|
||||
|
||||
- Workspace Rust com `acaua-core` e `acaua-cli`.
|
||||
- Comandos CLI, API Axum e dashboard web embutido.
|
||||
- Comandos da CLI (`analyze`, `serve`, `doctor`, `update`), API Axum e dashboard web embutido.
|
||||
- Containerização 100% Docker, implantação Compose, perfil endurecido não-root.
|
||||
- Linkagem da DuckDB pré-compilada e fundações de armazenamento Parquet.
|
||||
- Stubs dos quatro pilares, fusão de evidências e ingestão Zeek.
|
||||
- Linkagem da DuckDB pré-compilada e armazenamento Parquet particionado diariamente por Hive com isolamento sandbox.
|
||||
- Parser real de logs Zeek para `conn.log` e `dns.log` mapeando colunas por nome.
|
||||
- **Pilar 1 (v1.2):** Periodograma de Rayleigh/Schuster com grade limitada ($T \le \text{span}/3$), portão de significância por regularidade e exclusões de infraestrutura.
|
||||
- **Pilar 2 (v1.0):** Sessões TCP persistentes com encadeamento de timeouts de inatividade (intervalos $\le 3600$s sem novo SYN), score logarítmico de persistência e métricas de PCR e tentativas falhas na evidência.
|
||||
- **Pilar 3 (v1.0):** Capacidade de informação DNS (entropia de Shannon $\times$ caracteres de subdomínio únicos por hora UTC) para detecção de túneis, com JSD na evidência.
|
||||
- **Pilar 4 (v1.0):** Fusão noisy-OR ponderada por host ($w_1=w_2=w_3=0.75$) com evidência determinística em JSON e ordenação de prioridade (saída `hosts:`).
|
||||
- Relato de alertas em memória em `/api/alerts` e interface web atualizada.
|
||||
- Documentação em inglês/português, workflows de CI/release e `scripts/check.sh`.
|
||||
- Testes determinísticos de fumaça e checagem de tradução bilíngue da UI.
|
||||
- Suíte determinística de testes e scripts de validação contra capturas do IoT-23 e CTU-Normal.
|
||||
|
||||
## Próximo
|
||||
|
||||
1. **Pilar 1 — beaconing.** Implementar o periodograma de Rayleigh/Schuster sobre
|
||||
timestamps de eventos, resistência a harmônicos e validação com fixtures determinísticas.
|
||||
2. **Pilar 2 — sessões persistentes.** Detectar conexões longas que nunca
|
||||
produzem intervalos curtos, com limiares explícitos sem sobreposição ao pilar 1.
|
||||
3. **Parser Zeek real.** Ler `conn.log`, `dns.log`, `ssl.log` e logs de protocolo
|
||||
com memória delimitada, confinamento de caminhos e ordem determinística.
|
||||
4. **Registro de evidência.** Emitir registro JSON por alerta contendo entradas,
|
||||
valores intermediários, versão do código e hash do dataset.
|
||||
1. **Ingestão contínua:** rotação automática de logs e monitoramento de diretório em modo daemon.
|
||||
2. **Alertas persistentes:** persistência de alertas em SQLite/DuckDB entre reinícios do daemon.
|
||||
3. **Rastreamento de conexões longas ao vivo:** registro de conexões longas no sensor antes do encerramento TCP.
|
||||
4. **Public Suffix List (PSL):** substituição da heurística de domínio-base pela PSL oficial.
|
||||
5. **Allowlist e baselining:** redução de falsos positivos em polling de dispositivos IoT benignos em nuvem (ex.: Philips HUE).
|
||||
|
||||
## Depois
|
||||
|
||||
- Pilar 3 — anomalias determinísticas de protocolo, incluindo identidade e
|
||||
movimentação lateral.
|
||||
- Pilar 4 — fusão limitada e simétrica com pesos reproduzíveis.
|
||||
- Otimizações no store analítico, particionamento diário Parquet e limpeza por TTL.
|
||||
- Ingestão agendada e tratamento automático de rotação de logs em modo daemon.
|
||||
- NetFlow/IPFIX como modo degradado documentado e Suricata EVE JSON como entrada secundária.
|
||||
- Sessões UDP e parsers adicionais de protocolo (`ssl.log`, `smb_mapping.log`, `dce_rpc.log`, `rdp.log`, `ssh.log`, `kerberos.log`, `ntlm.log`).
|
||||
- Rastreamento de identidade, detecção de movimentação lateral e grafos de pivô.
|
||||
- NetFlow/IPFIX como modo degradado documentado e Suricata EVE JSON como entrada secundária opcional.
|
||||
- Metadados assinados de release, SBOM e builds reproduzíveis.
|
||||
|
||||
## Fora de plano
|
||||
|
||||
Reference in new issue
Block a user