big-data

A ideia deste post é introduzir alguns conceitos do Spark, mostrando alguns exemplos de código.

The idea of this post is to provide a Spark introduction, explaining some concepts and showing some code examples.

O Jupyter tem sido umas das ferramentas mais utilizadas por Cientistas de Dados e neste artigo vamos demonstrar como utilizamos o Kubernetes para um ambiente de múltiplos usuários acessando o Jupyter.

Neste post iremos demonstrar como agendamos jobs Spark para serem executados no kubernetes através do Airflow.

Vamos entender como o Change Data Capture (CDC) funciona e sua aplicabilidade para resolver nossos problemas.

Uma pequena introdução sobre Big Data no Elo7

Explicamos como utilizamos um método de bissecção para otimizar a busca de valores em uma coleção de faixas de CEP, aumentando em mais de 100 vezes a performance do algoritimo.

O título do post é polêmico para chamar sua atenção, mas a ideia deste post é mostrar a nossa visão sobre essas duas excelentes ferramentas: Apache Flink e Apache Spark.

Conheça o Nightfall, um projeto criado pela Engenharia do Elo7 para simplificar a criação de streams e batches no Spark, fornecendo injeção de dependências, configuração e facilidades na criação de tasks.

Métricas, métricas, métricas! Aqui no Elo7, tanto as métricas de sistema (cpu, mémoria, disco, logs, etc) quanto as métricas de negócio (pedidos, carrinhos, mensagens) importam bastante. Tudo o que acontece no site é capturado, metrificado e monitorado em tempo real para que nós possamos saber se estamos indo bem ou mal e para onde devemos seguir. Para que isso seja possível nós criamos o Elytics (Elo7 + Analytics).