Marquez é um projeto de código aberto relativamente jovem, para coletar e fornecer informações de metadados sobre um ecossistema de dados. Ele representa um modelo de dados simples para capturar metadados, como linhagem, fazer upstream e downstream de trabalhos de processamento de dados e seu status, e conta com um conjunto flexível de tags para capturar atributos dos conjuntos de dados. Ele fornece uma API RESTful simples para gerenciar os metadados, o que facilita a integração do Marquez a outros conjuntos de ferramentas no ecossistema de dados.
Usamos Marquez como ponto de partida e estendemos seu uso com facilidade para atender às nossas necessidades, como impor políticas de segurança e alterações na linguagem do domínio. Se você está procurando uma ferramenta pequena e simples para iniciar o armazenamento e a visualização de suas tarefas de processamento de dados e conjuntos de dados, Marquez é um bom ponto de partida.
