feat: implement Pillars 2-4 and fix a production false-positive in Pillar 1

Pillar 1 v1.1 (shipped earlier) flagged benign browsing bursts as
beaconing: on short captures, grid periods longer than the observed
span never complete a cycle, so significance saturates to 1 and the
score sticks at exactly 0.5. v1.2 caps the grid at a third of the
observed span, requires a minimum number of completed cycles, and
excludes protocols that are periodic by nature (NTP, DNS, mDNS,
ICMP). Validated against 300 seeds per scenario: false positives on
bursty traffic drop from the 290-300/300 that v1.1 produced to 0/300,
with every beacon-detection scenario scoring unchanged.

Add Pillar 2 (persistent/long-lived sessions, with Zeek's fragmented
TCP sessions rejoined after a 5-minute gap), Pillar 3 (DNS tunneling
via Shannon-entropy information volume per subdomain per hour; the
Jensen-Shannon divergence was measured and does not separate tunnels
from benign CDN subdomains, so it stays in the evidence at zero
weight instead of in the score), and Pillar 4 (deterministic
noisy-OR fusion across the three pillars).

The fusion formula was validated against 8 labeled real-traffic
vectors (IoT-23, CTU-Normal) with tolerance <= 1e-4. A known
limitation is kept, not hidden: a benign Philips HUE bulb's strict
periodic polling and a 21.9h session score it above three real C2
hosts. No weight or threshold was tuned to mask this; it is
documented in the architecture docs instead.

Also fixes real bugs found along the way: ingest_dir's partition
count summed file names instead of distinct dates, DuckDB errors
were counted as bad rows, /api/alerts always returned an empty list
regardless of the last analysis, and the dashboard still claimed
every pillar was unimplemented.

Restores four design corrections that were missing from
docs/architecture.md (KL to Jensen-Shannon, the persistent-session
detector, the JA4 licensing boundary, and deterministic reduction
order), and catalogs the public datasets used for validation
(IoT-23, CTU-Normal, Mendeley DTQBC) with their licenses and SHA-256
checksums under research/validation/.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01VAyr8d7HuAdUGB6aA5xmDD

apps/gui/ui/i18n-en.js

@@ -11,28 +11,28 @@ export const EN = {
   'Configurações': 'Settings',
   'idioma e tema': 'language and theme',
   'Conectando…': 'Connecting…',
-  'esqueleto': 'skeleton',
+  'pré-lançamento': 'pre-release',
   'checar atualização': 'check for updates',
   'Caça a ameaças em rede': 'Network threat hunting',
   'Pesquisa determinística, sem IA opaca': 'Deterministic research, no opaque AI',
-  'Aviso de escopo.': 'Scope notice.',
-  'Este é um esqueleto pré-implementação. Os quatro pilares matemáticos, o parser Zeek e o armazenamento DuckDB ainda não estão implementados.': 'This is a pre-implementation skeleton. The four mathematical pillars, the Zeek parser and the DuckDB storage are not implemented yet.',
+  'Estado atual.': 'Current state.',
+  'Ingestão de conn.log e dns.log do Zeek, armazenamento Parquet/DuckDB e os pilares 1 a 4 em versão inicial, validados com tráfego público real. Ainda não: ingestão contínua automática, alertas persistidos entre reinícios, movimentação lateral e sessões UDP.': 'Zeek conn.log and dns.log ingestion, Parquet/DuckDB storage and pillars 1 to 4 in an initial version, validated against real public traffic. Not yet: automatic continuous ingestion, alerts persisted across restarts, lateral movement and UDP sessions.',
   'Uso autorizado.': 'Authorized use.',
   'Use somente em redes próprias ou com autorização explícita. Nenhum pacote é enviado para fora.': 'Use only on your own networks or with explicit authorization. No packet leaves the machine.',
   'Pilares de detecção': 'Detection pillars',
   'Pilar {n}': 'Pillar {n}',
   'Pilar 1': 'Pillar 1',
-  'Periodograma de Rayleigh/Schuster. Em desenvolvimento.': 'Rayleigh/Schuster periodogram. Under development.',
-  'em desenvolvimento': 'under development',
+  'Periodograma de Rayleigh/Schuster com grade limitada ao intervalo observado.': 'Rayleigh/Schuster periodogram with a grid bounded by the observed span.',
+  'versão inicial': 'initial version',
   'Pilar 2': 'Pillar 2',
   'Sessões persistentes': 'Persistent sessions',
-  'Detector de conexões longas. Em desenvolvimento.': 'Long-connection detector. Under development.',
+  'Sessões TCP longas, inclusive as que o Zeek divide por inatividade.': 'Long TCP sessions, including those Zeek splits on inactivity.',
   'Pilar 3': 'Pillar 3',
   'Anomalias de protocolo': 'Protocol anomalies',
-  'Features determinísticas por protocolo. Em desenvolvimento.': 'Deterministic per-protocol features. Under development.',
+  'Volume de informação (entropia de Shannon) em subdomínios DNS.': 'Information volume (Shannon entropy) in DNS subdomains.',
   'Pilar 4': 'Pillar 4',
   'Fusão de evidências': 'Evidence fusion',
-  'Jensen-Shannon e prova por alerta. Em desenvolvimento.': 'Jensen-Shannon and per-alert proof. Under development.',
+  'Prioridade por host com evidência por alerta.': 'Per-host priority with per-alert evidence.',
   'Analisar dataset': 'Analyze dataset',
   'Aponte para um diretório de logs Zeek ou para um dataset local.': 'Point to a Zeek log directory or a local dataset.',
   'Diretório de logs': 'Log directory',
@@ -40,9 +40,9 @@ export const EN = {
   'Atualizar status': 'Refresh status',
   'Nenhuma análise executada.': 'No analysis has run yet.',
   'Alertas recentes': 'Recent alerts',
-  'Cada alerta futuro carregará a evidência determinística que o sustenta.': 'Every future alert will carry the deterministic evidence behind it.',
-  'Nenhum alerta ainda. O motor de detecção será ligado nas próximas specs.': 'No alerts yet. The detection engine will be enabled in upcoming specs.',
-  'Acauã · esqueleto pré-implementação': 'Acauã · pre-implementation skeleton',
+  'Cada alerta carrega a evidência determinística que o sustenta.': 'Each alert carries the deterministic evidence behind it.',
+  'Nenhum alerta ainda. Analise um diretório de logs do Zeek.': 'No alerts yet. Analyze a Zeek log directory.',
+  'Acauã · pré-lançamento': 'Acauã · pre-release',
   'Fechar configurações': 'Close settings',
   'Fechar': 'Close',
   'Idioma': 'Language',

apps/gui/ui/index.html

@@ -41,7 +41,7 @@
     <div class="side-foot">
       <div class="status-row">
         <span id="connection" class="pill"><span class="dot"></span><span id="connectionText">Conectando…</span></span>
-        <span class="pill muted">esqueleto</span>
+        <span class="pill muted">pré-lançamento</span>
       </div>
       <div class="status-row">
         <span id="version" class="mono" data-i18n-skip>—</span>
@@ -60,9 +60,9 @@
       <button id="settingsBtn" type="button" class="icon-btn" aria-label="Configurações" title="Configurações">⚙</button>
     </header>
 
-    <section class="notice notice-warn">
-      <strong>Aviso de escopo.</strong>
-      <span>Este é um esqueleto pré-implementação. Os quatro pilares matemáticos, o parser Zeek e o armazenamento DuckDB ainda não estão implementados.</span>
+    <section class="notice">
+      <strong>Estado atual.</strong>
+      <span>Ingestão de conn.log e dns.log do Zeek, armazenamento Parquet/DuckDB e os pilares 1 a 4 em versão inicial, validados com tráfego público real. Ainda não: ingestão contínua automática, alertas persistidos entre reinícios, movimentação lateral e sessões UDP.</span>
     </section>
 
     <section class="notice">
@@ -74,26 +74,26 @@
       <article class="card">
         <span class="card-kicker">Pilar 1</span>
         <h2>Beaconing</h2>
-        <p>Periodograma de Rayleigh/Schuster. Em desenvolvimento.</p>
-        <span class="tag">em desenvolvimento</span>
+        <p>Periodograma de Rayleigh/Schuster com grade limitada ao intervalo observado.</p>
+        <span class="tag">versão inicial</span>
       </article>
       <article class="card">
         <span class="card-kicker">Pilar 2</span>
         <h2>Sessões persistentes</h2>
-        <p>Detector de conexões longas. Em desenvolvimento.</p>
-        <span class="tag">em desenvolvimento</span>
+        <p>Sessões TCP longas, inclusive as que o Zeek divide por inatividade.</p>
+        <span class="tag">versão inicial</span>
       </article>
       <article class="card">
         <span class="card-kicker">Pilar 3</span>
         <h2>Anomalias de protocolo</h2>
-        <p>Features determinísticas por protocolo. Em desenvolvimento.</p>
-        <span class="tag">em desenvolvimento</span>
+        <p>Volume de informação (entropia de Shannon) em subdomínios DNS.</p>
+        <span class="tag">versão inicial</span>
       </article>
       <article class="card">
         <span class="card-kicker">Pilar 4</span>
         <h2>Fusão de evidências</h2>
-        <p>Jensen-Shannon e prova por alerta. Em desenvolvimento.</p>
-        <span class="tag">em desenvolvimento</span>
+        <p>Prioridade por host com evidência por alerta.</p>
+        <span class="tag">versão inicial</span>
       </article>
     </section>
 
@@ -119,16 +119,16 @@
       <div class="panel-head">
         <div>
           <h2>Alertas recentes</h2>
-          <p class="hint">Cada alerta futuro carregará a evidência determinística que o sustenta.</p>
+          <p class="hint">Cada alerta carrega a evidência determinística que o sustenta.</p>
         </div>
       </div>
       <ul id="alertList" class="alert-list">
-        <li class="empty">Nenhum alerta ainda. O motor de detecção será ligado nas próximas specs.</li>
+        <li class="empty">Nenhum alerta ainda. Analise um diretório de logs do Zeek.</li>
       </ul>
     </section>
 
     <footer class="foot">
-      <span>Acauã · esqueleto pré-implementação</span>
+      <span>Acauã · pré-lançamento</span>
       <span class="mono">MIT OR Apache-2.0</span>
     </footer>
   </main>