[LAB_00] EM ANDAMENTO
LabDados na borda
Um laboratório doméstico de engenharia de dados: dois ESP32 publicam telemetria via MQTT, um netbook antigo faz a ingestão e um PC processa os dados em camadas (bronze para silver para gold).
Sobre esse pipeline, o objetivo é medir execução sequencial, paralelismo local e processamento distribuído, e aprender quando distribuir compensa e quando não. Todo resultado é registrado, inclusive quando distribuir fica mais lento.
Fase de fundação: arquitetura, registros de decisão e o contrato de telemetria (rascunho).

[01] Pipeline
Tracejado = ainda não construído (TODO)
- 01TODOESP32 · MicroPythonSensores internos, mensagem montada pelo contrato
- 02TODOMQTT · MosquittoBroker no netbook, QoS 1, autenticação por dispositivo
- 03TODOIngestion · bronzeNDJSON bruto, só adição, particionado por data
- 04TODOSilver · ParquetValidado pelo contrato, sem duplicatas
- 05TODOGold · ParquetAgregados por dispositivo, métrica e janela
- 06TODOBenchmarksSequencial × Dask local × distribuído
[02] Hardware
- PCProcessamento e coordenaçãoCore i5 (13th gen) · 32 GB
- NetbookBroker MQTT, ingestão, worker experimentalIntel Atom · 2 GB · Debian
- ESP32-S3Nó sensorMicroPython
- ESP32-WROOM-32Nó sensorMicroPython
[03] Hipóteses
O que os benchmarks devem confirmar ou refutar.
- H1Para o volume dos ESP32 reais, execução sequencial basta e é mais rápida que Dask.
- H2Parquet colunar reduz o tempo de transformação mais do que adicionar workers.
- H3Existe um volume mínimo a partir do qual o Dask local supera o sequencial.
- H4Adicionar o netbook como worker piora cargas pequenas pelo custo de rede.
- H5DuckDB ou Polars numa máquina só competem com Dask distribuído neste hardware.
[04] Contrato de dados
Mensagens no formato do contrato de telemetria v1 (rascunho). Estas linhas são simuladas; leituras reais vão substituí-las quando o pipeline rodar.
{"source":"simulator","schema_version":1,"device_id":"esp32s3-sim01","boot_id":"9f3a1c2e","seq":40,"ts_device_ms":null,"time_synced":false,"site":"lab","readings":[{"metric":"wifi_rssi","value":-61,"unit":"dBm"},{"metric":"free_heap","value":154320,"unit":"B"},{"metric":"uptime","value":3585,"unit":"s"}]}
{"source":"simulator","schema_version":1,"device_id":"esp32wroom-sim02","boot_id":"2b7d04aa","seq":17,"ts_device_ms":null,"time_synced":false,"site":"lab","readings":[{"metric":"wifi_rssi","value":-67,"unit":"dBm"},{"metric":"free_heap","value":98112,"unit":"B"},{"metric":"uptime","value":1530,"unit":"s"}]}
{"source":"simulator","schema_version":1,"device_id":"esp32s3-sim01","boot_id":"9f3a1c2e","seq":41,"ts_device_ms":null,"time_synced":false,"site":"lab","readings":[{"metric":"wifi_rssi","value":-60,"unit":"dBm"},{"metric":"free_heap","value":154208,"unit":"B"},{"metric":"uptime","value":3595,"unit":"s"}]}
{"source":"simulator","schema_version":1,"device_id":"esp32wroom-sim02","boot_id":"2b7d04aa","seq":18,"ts_device_ms":null,"time_synced":false,"site":"lab","readings":[{"metric":"wifi_rssi","value":-68,"unit":"dBm"},{"metric":"free_heap","value":98040,"unit":"B"},{"metric":"uptime","value":1540,"unit":"s"}]}
{"source":"simulator","schema_version":1,"device_id":"esp32s3-sim01","boot_id":"9f3a1c2e","seq":42,"ts_device_ms":null,"time_synced":false,"site":"lab","readings":[{"metric":"wifi_rssi","value":-61,"unit":"dBm"},{"metric":"free_heap","value":154320,"unit":"B"},{"metric":"uptime","value":3605,"unit":"s"}]}
{"source":"simulator","schema_version":1,"device_id":"esp32wroom-sim02","boot_id":"2b7d04aa","seq":19,"ts_device_ms":null,"time_synced":false,"site":"lab","readings":[{"metric":"wifi_rssi","value":-66,"unit":"dBm"},{"metric":"free_heap","value":97984,"unit":"B"},{"metric":"uptime","value":1550,"unit":"s"}]}
{"source":"simulator","schema_version":1,"device_id":"esp32s3-sim01","boot_id":"9f3a1c2e","seq":43,"ts_device_ms":null,"time_synced":false,"site":"lab","readings":[{"metric":"wifi_rssi","value":-59,"unit":"dBm"},{"metric":"free_heap","value":154176,"unit":"B"},{"metric":"uptime","value":3615,"unit":"s"}]}
{"source":"simulator","schema_version":1,"device_id":"esp32wroom-sim02","boot_id":"2b7d04aa","seq":20,"ts_device_ms":null,"time_synced":false,"site":"lab","readings":[{"metric":"wifi_rssi","value":-67,"unit":"dBm"},{"metric":"free_heap","value":98112,"unit":"B"},{"metric":"uptime","value":1560,"unit":"s"}]}
[05] Diário do lab
- Página do lab publicada neste site.
- Rascunho do contrato de telemetria v1: envelope, catálogo de métricas, validação e códigos de rejeição.
- Repositório iniciado: visão de arquitetura, 7 registros de decisão (propostos) e estratégia de testes.
[06] Projetos relacionados
Projetos mobile que já envolvem telemetria, IoT e dados na borda.