Data Pipeline Design Principles
towardsdatascience.com
external-link
A quick walkthrough to design principles based on established design patterns for designing highly scalable data pipelines

Procurando por padrões de arquitetura de ETL, me deparei com a mudança de termos. O velho ETL foi deixado como referência para o transporte de dados entre BD (operacional) e um Warehouse (analítico). O termo que reservaram para a tarefa semelhante, porém num cenário moderno, foi o de “Data Pipeline”.

Esse artigo foi o mais abrangente que achei, as 3 referências ao final são boas, mas adianto que não vão haver padrões de desenvolvimento mais diretos, como diz no título: princípios.

cevado
link
15M

uma coisa muito da hora que tem em Elixir é uma lib pra fazer pipelines de ingestão/processamento de dados de forma concorrente e simples… https://elixir-broadway.org/

Tocaia Tequi
!tocaia

    Comunidade para trazer à tona links sobre tecnologia.

    • 0 users online
    • 1 user / day
    • 1 user / week
    • 1 user / month
    • 2 users / 6 months
    • 1 subscriber
    • 4 Posts
    • 1 Comment
    • Modlog