feat: implement Pillars 2-4 and fix a production false-positive in Pillar 1
Pillar 1 v1.1 (shipped earlier) flagged benign browsing bursts as beaconing: on short captures, grid periods longer than the observed span never complete a cycle, so significance saturates to 1 and the score sticks at exactly 0.5. v1.2 caps the grid at a third of the observed span, requires a minimum number of completed cycles, and excludes protocols that are periodic by nature (NTP, DNS, mDNS, ICMP). Validated against 300 seeds per scenario: false positives on bursty traffic drop from the 290-300/300 that v1.1 produced to 0/300, with every beacon-detection scenario scoring unchanged. Add Pillar 2 (persistent/long-lived sessions, with Zeek's fragmented TCP sessions rejoined after a 5-minute gap), Pillar 3 (DNS tunneling via Shannon-entropy information volume per subdomain per hour; the Jensen-Shannon divergence was measured and does not separate tunnels from benign CDN subdomains, so it stays in the evidence at zero weight instead of in the score), and Pillar 4 (deterministic noisy-OR fusion across the three pillars). The fusion formula was validated against 8 labeled real-traffic vectors (IoT-23, CTU-Normal) with tolerance <= 1e-4. A known limitation is kept, not hidden: a benign Philips HUE bulb's strict periodic polling and a 21.9h session score it above three real C2 hosts. No weight or threshold was tuned to mask this; it is documented in the architecture docs instead. Also fixes real bugs found along the way: ingest_dir's partition count summed file names instead of distinct dates, DuckDB errors were counted as bad rows, /api/alerts always returned an empty list regardless of the last analysis, and the dashboard still claimed every pillar was unimplemented. Restores four design corrections that were missing from docs/architecture.md (KL to Jensen-Shannon, the persistent-session detector, the JA4 licensing boundary, and deterministic reduction order), and catalogs the public datasets used for validation (IoT-23, CTU-Normal, Mendeley DTQBC) with their licenses and SHA-256 checksums under research/validation/. Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01VAyr8d7HuAdUGB6aA5xmDD
This commit is contained in:
1 parent
8a80504c45
commit
c64bbbf775
41 files changed
+4034
-348
No files matched your search
+15
-15
@@ -41,7 +41,7 @@
|
||||
<div class="side-foot">
|
||||
<div class="status-row">
|
||||
<span id="connection" class="pill"><span class="dot"></span><span id="connectionText">Conectando…</span></span>
|
||||
<span class="pill muted">esqueleto</span>
|
||||
<span class="pill muted">pré-lançamento</span>
|
||||
</div>
|
||||
<div class="status-row">
|
||||
<span id="version" class="mono" data-i18n-skip>—</span>
|
||||
@@ -60,9 +60,9 @@
|
||||
<button id="settingsBtn" type="button" class="icon-btn" aria-label="Configurações" title="Configurações">⚙</button>
|
||||
</header>
|
||||
|
||||
<section class="notice notice-warn">
|
||||
<strong>Aviso de escopo.</strong>
|
||||
<span>Este é um esqueleto pré-implementação. Os quatro pilares matemáticos, o parser Zeek e o armazenamento DuckDB ainda não estão implementados.</span>
|
||||
<section class="notice">
|
||||
<strong>Estado atual.</strong>
|
||||
<span>Ingestão de conn.log e dns.log do Zeek, armazenamento Parquet/DuckDB e os pilares 1 a 4 em versão inicial, validados com tráfego público real. Ainda não: ingestão contínua automática, alertas persistidos entre reinícios, movimentação lateral e sessões UDP.</span>
|
||||
</section>
|
||||
|
||||
<section class="notice">
|
||||
@@ -74,26 +74,26 @@
|
||||
<article class="card">
|
||||
<span class="card-kicker">Pilar 1</span>
|
||||
<h2>Beaconing</h2>
|
||||
<p>Periodograma de Rayleigh/Schuster. Em desenvolvimento.</p>
|
||||
<span class="tag">em desenvolvimento</span>
|
||||
<p>Periodograma de Rayleigh/Schuster com grade limitada ao intervalo observado.</p>
|
||||
<span class="tag">versão inicial</span>
|
||||
</article>
|
||||
<article class="card">
|
||||
<span class="card-kicker">Pilar 2</span>
|
||||
<h2>Sessões persistentes</h2>
|
||||
<p>Detector de conexões longas. Em desenvolvimento.</p>
|
||||
<span class="tag">em desenvolvimento</span>
|
||||
<p>Sessões TCP longas, inclusive as que o Zeek divide por inatividade.</p>
|
||||
<span class="tag">versão inicial</span>
|
||||
</article>
|
||||
<article class="card">
|
||||
<span class="card-kicker">Pilar 3</span>
|
||||
<h2>Anomalias de protocolo</h2>
|
||||
<p>Features determinísticas por protocolo. Em desenvolvimento.</p>
|
||||
<span class="tag">em desenvolvimento</span>
|
||||
<p>Volume de informação (entropia de Shannon) em subdomínios DNS.</p>
|
||||
<span class="tag">versão inicial</span>
|
||||
</article>
|
||||
<article class="card">
|
||||
<span class="card-kicker">Pilar 4</span>
|
||||
<h2>Fusão de evidências</h2>
|
||||
<p>Jensen-Shannon e prova por alerta. Em desenvolvimento.</p>
|
||||
<span class="tag">em desenvolvimento</span>
|
||||
<p>Prioridade por host com evidência por alerta.</p>
|
||||
<span class="tag">versão inicial</span>
|
||||
</article>
|
||||
</section>
|
||||
|
||||
@@ -119,16 +119,16 @@
|
||||
<div class="panel-head">
|
||||
<div>
|
||||
<h2>Alertas recentes</h2>
|
||||
<p class="hint">Cada alerta futuro carregará a evidência determinística que o sustenta.</p>
|
||||
<p class="hint">Cada alerta carrega a evidência determinística que o sustenta.</p>
|
||||
</div>
|
||||
</div>
|
||||
<ul id="alertList" class="alert-list">
|
||||
<li class="empty">Nenhum alerta ainda. O motor de detecção será ligado nas próximas specs.</li>
|
||||
<li class="empty">Nenhum alerta ainda. Analise um diretório de logs do Zeek.</li>
|
||||
</ul>
|
||||
</section>
|
||||
|
||||
<footer class="foot">
|
||||
<span>Acauã · esqueleto pré-implementação</span>
|
||||
<span>Acauã · pré-lançamento</span>
|
||||
<span class="mono">MIT OR Apache-2.0</span>
|
||||
</footer>
|
||||
</main>
|
||||
|
||||
Reference in new issue
Block a user