Categorias
Big Data Ciência de Dados Inteligência Artificial

A Ciência de Dados no mercado: 7 casos de sucesso

A ciência de dados tem revolucionado praticamente todas as áreas. Na educação, utilizando modelos para uma melhor avaliação de estudantes, na medicina, identificando e prevendo doenças, no futebol, obtendo o máximo valor das escalações de um time.

Neste artigo, apresentaremos 7 exemplos onde a ciência de dados é utilizada como uma poderosa ferramenta, com modelos e algoritmos que ajudam a analisar, prever e, consequentemente, obter melhores resultados em cada uma dessas áreas.

1- Segurança Pública

Em uma ação criminosa existem diversos elementos envolvidos. Informações colhidas anteriormente sobre os suspeitos (a exemplo, a ficha criminal) e sobre a região na qual um crime foi cometido (como entorno e vias de acesso) são fatores importantes na elucidação de delitos.

No entanto, muitas vezes esses dados coletados em diferentes regiões e por diferentes órgãos não estão integradas em uma mesma base de dados, o que prejudica o trabalho dos agentes policiais.

O Ceará tem sido um exemplo do uso inteligente da ciência de dados na segurança pública. Em 2019, o estado ganhou interesse nacional pela grande redução de seus índices criminais. Entre as diversas ações tomadas para atingir esse resultado, um dos maiores destaques é o uso de soluções tecnológicas baseadas em ciência de dados.

Em parceria com a Secretaria da Segurança Pública e Defesa Social (SSPDS), o Insight Lab desenvolveu ferramentas que têm ajudado a entender e combater práticas criminosas.

Conheça algumas dessas ferramentas:

Sistema Policial Indicativo de Abordagem (SPIA)

O Spia tem sido usado no enfraquecimento da mobilidade de criminosos, pois ajuda na identificação de veículos roubados. É um sistema de inteligência artificial que integra as bases de dados de órgãos federais, estaduais e municipais aos dados captados por mais 3.300 câmeras espalhadas pelo Ceará.

Big Data “Odin”

Como apresentado no portal do Governo do Estado do Ceará, o sistema de big data Odin “armazena e cruza dados obtidos por mais de 50 sistemas dos órgãos de segurança e de entidades parceiras. Todas as informações podem ser vistas em tempo real dentro de um painel que simplifica os processos de investigação e de tomadas de decisão, o Cerebrum.”

Portal do Comando Avançado (PCA)

Exclusivo para profissionais da segurança pública do Ceará, é um aplicativo para celular que reúne informações civil e criminal da população cearense, dados de veículos e motoristas, biometria e o reconhecimento facial.

 

2 – Evasão fiscal e detecção de fraude

Um grande desafio dentro de empresas e organizações é a detecção de fraudes e a evasão fiscal. Uma pequena porcentagem dessas atividades pode representar perdas bilionárias para as instituições.

Entretanto, os avanços na análise de fraudes, com o uso de ciência de dados e o Big Data, são uma perfeita ferramenta para prevenir tais atividades.  Além da redução de informações, com essas ferramentas pode-se diferenciar entre contribuinte legítimo e fraudador, utilizando classificação de dados, clustering e reconhecimento de padrão, por exemplo. Diferentes fontes de dados são usadas para a análise, sejam dados estruturados ou não estruturados.

Diversos estudiosos estão empenhados em desvanecer esse problema. Veja um exemplo disso: a partir de dados reais da Secretaria da Fazenda do Estado do Ceará (Sefaz-CE), sete pesquisadores (entre eles o coordenador do Insight Lab, José Macêdo) aplicaram um novo método,  ALICIA, para detectar potenciais fraudadores fiscais. Esse método de seleção de recursos é baseado em regras de associação e lógica proposicional.

Os autores explicam que ALICIA é estruturado em três fases:

  1. Ele gera um conjunto de regras de associação relevantes a partir de um conjunto de indicadores de fraude (recursos).
  2. A partir de tais regras de associação, ALICIA constrói um gráfico, cuja estrutura é então usada para determinar as características mais relevantes.
  3. Para conseguir isso, ALICIA aplica uma nova medida de centralidade chamada de Importância Topológica do Recurso.

Os teste feitos com ALICIA em quatro diferentes conjuntos de dados do mundo real mostram sua eficiência superior a outros oito métodos de seleção de recursos. Os resultados mostram que Alicia atinge pontuações de medida F de até 76,88% e supera de forma consistente seus concorrentes.

 

3 –  Saúde 

Uma das principais aplicações da ciência de dados é na área da saúde. Esse setor utiliza intensamente data science para descoberta de novas drogas, na prevenção, diagnóstico e tratamento de doenças e no monitoramento da saúde de pacientes.

E durante a pandemia de Covid-19, a ciência de dados foi um dos primeiros auxílios buscados para que se pudesse entender o comportando do vírus na população mundial, criar modelos preditivos sobre seus impactos e divulgar ao público, especialmente através da visualização de dados, estatísticas relacionadas à doença.

Como exemplo de transparência dos dados durante a pandemia, destacamos a plataforma cearense IntegraSUS Analytics.

Como descrito pela Secretaria da Saúde do Ceará, o IntegraSUS Analytics é uma ferramenta com a qual “pesquisadores, profissionais e estudantes de ciência de dados ou de tecnologia da informação poderão ter acesso ao cenário atual da saúde no Estado. Tudo por meio dos códigos e modelos utilizados na construção do IntegraSUS. A plataforma também oferece datasets sobre diferentes áreas da saúde para aprendizado e treinamento.”

Além do IntegraSUS Analytics, o Governo do Estado esteve em parceria com o Insight Lab para desenvolver outras ações de enfrentamento ao Covid-19. Nossos pesquisadores produziram Mapas de Kernel para observar como está acontecendo o espalhamento da doença no Ceará. Junto a isso, a professora Ticiana Linhares comandou o desenvolvimento de um algoritmo de IA para entender a evolução dos sintomas do Covid-19.

Como isso acontece? Através dos textos trocados via chat (Plantão Coronavírus) entre os cidadãos e a Secretaria de Saúde, o algoritmo extrai dessas conversas os sintomas mais frequentes e avalia sua evolução.

 

4 – Games

Uma das indústrias em maior expansão é a de games. Contabiliza-se atualmente mais de 2 bilhões de jogadores no mundo todo, com estimativas para que esse número passe de 3 bilhões até 2023, segundo o site Statista.

Com esse super número de jogadores e a criação diária de novos jogos, uma enorme quantidade de dados são coletados, tais como o tempo de jogo do usuário, pontos de início e parada e pontuação. Essa coletânea de dados representa uma rica fonte para que especialistas estudem, aprendam e possam otimizar e melhorar os jogos.

Com a ciência de dados aplicada no mercado de jogos, é possível realizar o desenvolvimento, a monetização e o design de games, e ainda melhorar efeitos visuais, por exemplo. Com modelos que permitem a identificação de objetos, jogos tornam-se mais realistas tornando possível diferenciar jogadores pertencentes a equipes diferentes e dar comandos ao personagem específico dentro de um grupo.

A King, empresa criadora do famoso Candy Crush, tem, segundo seu diretor de produtos de serviços, Jonathan Palmer, uma cultura baseada em dados. Na King, depois que um jogo é lançado, ele continua sendo monitorado e os ajustes necessários são feitos. Eles analisam, por exemplo, se um jogo é muito difícil, então eles podem perder jogadores, e se muito fácil, os usuários ficam entediados e abandonam o jogo.

Palmer cita o nível 65 do Candy Crush Saga: “É um nível incrivelmente difícil, tinha seu próprio culto em torno dele. Percebemos que isso estava causando a agitação de muitas pessoas. Usando dados, pudemos dizer: ‘precisamos diminuir um pouco a dificuldade desse nível’.”

 

5 – Vida Social

O surgimento das redes sociais alterou completamente a forma como nos relacionamos, sejam relacionamentos amorosos, amizades ou relações de trabalho. Nos conectamos diariamente com inúmeras pessoas que jamais vimos. E todas as relações e ações nessas redes deixam extensos rastros de dados que influenciam, entre outras coisas, em quem você conhecerá a seguir.

Não é impressionante como o Facebook sempre acerta nas recomendações de novas amizades? Em artigo do Washington Post é dito que ele se baseia em “really good math”, mais especificamente, o Facebook utiliza um tipo de ciência de dados conhecido como network science, que basicamente busca prever o crescimento da rede social de um usuário baseado no crescimento das redes de usuários semelhantes.

Um outro exemplo é o Tinder. Ele utiliza um algoritmo que visa aumentar a probabilidade de correspondência. Esse algoritmo  prioriza correspondências entre usuários ativos, usuários em uma mesma região e usuários que parecem os “tipos” uns dos outros com base em seu histórico de deslize.

 

6 – Esportes

A indústria do esporte é uma das mais rentáveis do mundo, gerando lucros bilionários todos os anos e, é claro, cheia de dados e estatísticas. Cada esporte está repleto de variáveis a serem estudadas, que vão desde o clima, a fisiologia de cada jogador, as decisões dos árbitros, até as escolhas feitas pelos jogadores durante uma partida. Assim, a ciência de dados vem para “decifrar” o que fazer com esses dados, revelando insights preditivos para a melhor tomada de decisão dentro de cada modalidade de esporte.

Um caso interessante para analisarmos é o da liga de basquete americana. A NBA usa o sistema de análise de arremesso da RSPCT, no qual uma câmera rastreia quando e onde a bola bate em cada tentativa de cesta. Os dados são canalizados para um dispositivo que exibe detalhes da tomada em tempo real e gera insights preditivos.

Leo Moravtchik, CEO da RSPCT, disse à SGV News que “com base em nossos dados … Podemos dizer [a um jogador]: ‘Se você está prestes a dar o último arremesso para ganhar o jogo, não tente do topo da chave, porque sua melhor localização é, na verdade, o canto direito ”

7 –  Comércio eletrônico (e-commerce) 

O comércio eletrônico (ou e-Commerce) é um tipo de negócio em que empresas e indivíduos compram e vendem coisas pela internet.  Nesse tipo de comércio, a interação com os clientes passa por vários pontos, desde o clique em um anúncio e em produtos de interesse, até a compra e avaliação do produto.

Os dados obtidos nas plataformas de e-commerce ajudam os vendedores a construir uma imagem dos consumidores, seus hábitos de compra, quais as estratégias para “transformá-los” em clientes e ainda o tempo que isso leva.

Nesse sentido, a aplicação da ciência de dados permite a previsão da rotatividade de clientes, a segmentação destes, o impulsionamento das vendas com recomendações inteligentes de produtos, a extração de informações úteis das avaliações dos compradores, a previsão de demanda, a otimização de preços e tantas outras possibilidades.

No caso do Airbnb, a ciência de dados ajudou a renovar completamente sua função de pesquisa, destacando áreas mais requisitadas. O algoritmo do Airbnb hoje, nos rankings de busca, dá prioridade a aluguéis que estiverem em uma área com alta densidade de reservas. Antes, entretanto, os melhores aluguéis estavam localizados a uma certa distância dos centros da cidade. Isso implicava que, apesar de encontrar aluguéis legais, os locais não eram tão bons.

 

 

Referências

How data science and big data analytics leads to better tax fraud prevention

Top 8 Data Science Use Cases in Gaming

Number of active video gamers worldwide from 2015 to 2023 (in billions)

How King is crushing games data

How Facebook knows who all your friends are, even better than you do

Data Science in the Sports Industry

Applying Data Science tools and techniques to eCommerce

 

Categorias
Ciência de Dados Destaque Pesquisa Webinar

Webinar: Aplicação de Ciência de Dados em projetos reais

No dia 09 de novembro acontecerá a próxima edição do webinar do Insight Lab: Aplicação de Ciência de Dados em projetos reais. Nesse encontro você conhecerá trabalhos desenvolvidos na disciplina de Ciência de Dados, que faz parte do currículo do Programa de Pós-graduação em Ciência da Computação da Universidade Federal do Ceará (MDCC-UFC). O objetivo dos projetos foi aplicar conceitos de Data Science aprendidos ao longo do semestre na resolução de problemas reais.

 

Veja os três projetos selecionados para o webinar:

Projeto 1: Detecção de fake news sobre COVID-19 em redes sociais

A sociedade atual enfrenta uma infodemia de fake news sem precedentes. Na maioria das vezes, usuários de redes sociais e leitores de portais de notıcias não conseguem distinguir  quais notícias são verdadeiras e quais são falsas. 

Neste trabalho é apresentada uma abordagem para detecção de  fake  news usando técnicas de representação textuais como Word Embeddings, TF-IDF, FastText e Bert, com aplicação de modelos de aprendizagem de máquina clássicos e do estado da arte, como SVM, por exemplo. A partir de experimentos realizados, o modelo que mais se destacou em desempenho foi usado para criação de um bot classificador de fake news sobre COVID-19.

 

Apresentação: Felipe Marcel

Bacharel em Ciência da Computação pelo IFCE. Mestrando em Ciência da Computação (UFC). Desenvolvedor full stack no Insight Data Science Lab.

 

 

Projeto 2: Classificação automática de documentos jurídicos da SEFAZ.

A Secretaria da Fazenda do Estado do Ceará (SEFAZ) armazena diversos documentos jurídicos do governo estadual, entre leis, atos declaratórios, normas explicativas e outros. Este trabalho tem como objetivo automatizar o processo de classificação desses documentos, o que hoje é feito de forma manual, e assim economizar tempo e recursos do Estado.

 

Apresentação: Lucas Fernandes

Bacharel em Ciência da Computação (UFC). Mestrando em Ciência da Computação (UFC).

 

 

Projeto 3: Detecção automática de defeitos em pavimentos asfálticos com a utilização de Redes Neurais Convolucionais

Uma das etapas mais importantes do Gerenciamento da Infraestrutura Viária se refere à avaliação da qualidade funcional dos pavimentos. Além da sua função imprescindível para viabilização do transporte de cargas e de pessoas, o sistema viário precisa ser capaz de oferecer boas condições de trafegabilidade, conforto e segurança. Para isso, comumente é realizado o monitoramento da quantidade e da severidade de defeitos do tipo buracos, trincas, remendos, entre outros, por meio do levantamento visual contínuo, em que são tiradas fotos do pavimento para posterior análise manual.

Este trabalho se propõe a gerar um melhoramento em cadeia nas etapas do gerenciamento de pavimentos, com a implementação de Redes Neurais Convolucionais para detectação e classificação de vários tipos de defeitos, com imagens coletadas com smartphone a bordo de um veículo. Fato que tende a gerar significativa redução nos custos de monitoramento e grande benefício para o usuário final, a sociedade como um todo.

 

Apresentação: Klayver Paz

Graduando em Engenharia Civil pela UFC.

 

O evento acontecerá em nosso canal no Youtube com mediação de José Macêdo, coordenador do Insight Lab, e Lucas Peres, desenvolvedor full stack no Insight Lab.

 

Agenda:

Dia: 09 de novembro

Horário: 15h

Acesse a transmissão aqui.

 

Categorias
Ciência de Dados Pesquisa Vagas Abertas

Edital 2020: 2º Processo Seletivo para Pesquisador da Universidade Federal do Ceará (UFC)

O Insight Lab divulga mais um processo seletivo para pesquisadores. O objetivo é apoiar pesquisas de ponta em Ciência da Computação, Estatística e áreas relacionadas, em particular, cujo tema envolvam uso de inteligência computacional em Big Data para Segurança Pública. 

 

Vagas para:

Pesquisadores doutores na área de Ciência da Computação ou correlatas;

Modalidade: Bolsa de pesquisa ASTEF

Valor: R$ 2.000,00 mensais

Período: 12 meses 

 

Propostas de pesquisa:

Cada pesquisador poderá submeter candidatura para apenas 1 (um) problema de pesquisa:

  1. Análise de Redes Complexas.
  2. Geração e Manutenção semi-automática das documentações dos artefatos produzidos no projeto.

Abaixo de cada problema, são listados alguns subproblemas a fim de auxiliar os candidatos na sua escolha.

 

Análise de Redes Complexas.

1.Geração de Redes Temporais de Relacionamento a partir de trajetórias de criminosos. 

2.Análise de Redes Temporais de Relacionamento para identificação de comportamento delitivo.

3.Geração de medidas de centralidade para identificação de nós influentes na rede. 

 

Geração e Manutenção semi-automática das documentações dos artefatos produzidos no projeto.

  1. A partir dos artefatos produzidos no projeto, criar modelos de aprendizagem que gerem (semi) automaticamente textos de documentação.
  2. Estratégias de atualização (semi) automática dos modelos de aprendizagem.

 

Etapas da seleção

Período de envio de propostas: 03/11/2020 – 06/11/2020

Divulgação dos pesquisadores selecionados através de e-mail: 09/11/2020

Início da pesquisa: 11/11/2020

 

Formulário

A inscrição deve ser realizada por meio do preenchimento de formulário no Google Forms. Os candidatos serão avaliados pela qualidade das suas publicações no problema de pesquisa escolhido. 

Leia o edital completo aqui.

 

Acompanhe mais atualizações nas nossas redes sociais.

Categorias
Ciência de Dados Cursos Destaque

Curso: Imersão em Ciência de Dados

Apresentamos hoje o curso “Imersão em Ciência de Dados”, totalmente gratuito e disponível em nosso canal no YouTube. Essa é uma nova contribuição do Insight Lab para a formação de novos cientistas de dados brasileiros. O curso tem o propósito de ambientar você no campo de Data Science ao apresentar áreas de conhecimento, metodologias e ferramentas que compõem esta ciência. 

 

Veja o conteúdo de cada módulo:

Introdução (Disponível)

Webinar: Por onde começar e o que você deve saber antes de iniciar sua carreira em Ciência de Dados

 

 Getting ready! (Disponível)

Google Colab

Básico da linguagem Python

Estruturas de dados – Parte 1

Estruturas de dados – Parte 2

 

Estatística (Disponível)

O que é estatística?

Ideias centrais em estatística

Probabilidade e variáveis

Coleta de dados

Coleta de dados – Dados observacionais

Coleta de dados – Erros de coleta

Coleta de dados – Exemplos

– Coleta de dados – Erros não amostrais

 

Numpy, Pandas e pré-processamento de dados (Disponível)

Introdução ao Numpy

Fatiando arrays

Introdução ao Pandas

Pré-processamento de Dados

 

Fundamentos de Aprendizado de Máquina (Disponível)

O que é aprendizagem de máquinas?

Aprendizagem Supervisionada x Não Supervisionada

Introdução à aprendizagem supervisionada – Knn

 

Modelos lineares (Disponível)

Modelos Lineares – Introdução

Modelos Lineares – Regressão Linear

Modelos Lineares – Regressão Logística

Modelos Lineares – Naive Bayes

Modelos Lineares – SVM

 

Métricas de avaliação e técnicas para melhoria dos resultados (Disponível)

Simplificando fluxos de trabalho com pipelines

Validação cruzada

 

Árvores de Decisão (Disponível)

Árvores de Decisão: conceitos básico

Árvores de Decisão: como uma árvore de decisão é construída

Árvores de Decisão: exemplo prático de construção

Árvores de Decisão: com linguagem Python e biblioteca Scikit-Learn

 

Aprendizado não-supervisionado (Disponível)

Introdução a aprendizado não-supervisionado e clusterização

K-Means (Algoritmo)

K-Means (Hands-On)

DBSCAN (parte 1)

DBSCAN (parte 2)

PCA (parte 1)

PCA (parte 2)

PCA (parte 3)

Regras de Associação (parte 1)

Regras de Associação (parte 2)

 

 Redes neurais e aprendizado profundo (Disponível)

Introdução às redes neurais (parte 1)

Introdução às redes neurais (parte 2)

Redes neurais convolucionais 

Redes neurais recorrentes (parte 1)

Redes neurais recorrentes (parte 2)

Redes neurais recorrentes (parte 3)

LSTM

 

Conheça os professores que irão te acompanhar neste curso:

Gustavo Coutinho: Professor no Instituto Federal de Educação, Ciência e Tecnologia do Ceará (IFCE), doutorando em Ciência da Computação na Universidade Federal do Ceará (UFC) e pesquisador do Insight Lab.

Regis Pires: Doutor em Ciência da Computação (UFC), professor na Universidade Federal do Ceará (UFC) e coordenador de capacitação e pesquisador do Insight Lab.

José Florêncio: Doutor em Ciência da Computação (UFC) e coordenador negocial e pesquisador do Insight Lab.

Lucas Peres: Doutorando em Ciência da Computação (UFC) e desenvolvedor full stack do Insight Lab.

Lívia Almada: Professora na Universidade Federal do Ceará (UFC), doutoranda em Ciência da Computação (UFC) e pesquisadora do Insight Lab.

Carlos Júnior: Mestre em Ciência da Computação, doutorando em Ciência da Computação (UFC) e pesquisador do Insight Lab.

José Macêdo: Doutor em Ciência da Computação (UFC), professor da UFC e coordenador do Insight Lab.

Ticiana Linhares: Doutora em Ciência da Computação (UFC), professora da UFC e coordenadora de pesquisa do Insight Lab.

 

Durante as próximas semanas, esta página será atualizada com os links dos novos módulos disponíveis. Então, continue nos acompanhando para receber todas essas informações. Bons estudos!

 

 

Categorias
Ciência de Dados Destaque Webinar

Webinar: Por onde começar e o que você deve saber antes de iniciar sua carreira em Ciência de Dados

A nova edição do nosso webinar já está programada. Agora, o tema debatido será “Por onde começar e o que você deve saber antes de iniciar sua carreira em Ciência de Dados”.

Nesta conversa, cinco profissionais compartilharão suas experiências no mercado de Data Science sobre a perspectiva da evolução da Ciência de Dados e a caracterização atual do mercado, destacando as pesquisas em alta, o perfil do profissional almejado na área e também como acontece o fluxo produtivo entre os setores acadêmico e privado. 

Durante o webinar, também será apresentado o curso gratuito e online de Ciência de Dados produzido pelo Insight Lab.

 

Participantes

José Macêdo: Coordenador do Insight Lab, Cientista-chefe de Dados do Governo do CE e professor da UFC

Regis Pires: Coordenador de Capacitação do Insight Lab, cientista de dados do Íris e professor da UFC

Lívia Almada: Pesquisadora no Insight Lab e professora da UFC

Lucas Peres: Desenvolvedor Full Stack no Insight Lab

André Meireles: Pesquisador no Virtus UFCG e professor na UFC

 

Agenda

Dia: 16 de setembro

Horário: 16h

A transmissão acontecerá no canal do Insight Lab no Youtube, aqui.

 

Este evento é feito para você, então se sinta à vontade para enviar suas perguntas através do chat no YouTube, elas serão respondidas no último bloco do webinar.

Até lá!

 

Categorias
Ciência de Dados Portifólio

6 etapas para a construção do seu portfólio de Data Science

Você já possui ou está iniciando um portfólio de projetos em Data Science? Com um portfólio, o profissional se mostra presente e atuante na comunidade global de cientista de dados e também faz uso de mais uma ferramenta que mostra ao mercado suas habilidades na área.

Muitas vezes na construção do portfólio, surgem dúvidas sobre como organizar o processo de desenvolvimento dos projetos. Essas dúvidas são bem vindas, mostram o seu planejamento e a busca para tornar seu trabalho mais consistente e coerente, um trabalho com sentido e direção. 

Para te ajudar, hoje vamos apresentar e esclarecer 6 etapas para fortalecer seu portfólio de Ciência de Dados

Antes do tópico 1, precisamos relembrar de uma característica que todo cientista de dados deve ter: paixão pela área! Sim, a Ciência de Dados é uma área fascinante, com estudos de impacto inquestionável nos mais diferentes âmbitos e com profissionais muito valorizados, mas, sendo a conjunção entre Matemática, Estatística e Computação, é uma ciência complexa e que exige dedicação e estudo constantes. Se o amor pela área você já tem, pode seguir a leitura.

 

1. Definição do Problema

O passo inicial do seu projeto deve ser a  boa definição do problema a ser resolvido e, assim, traçar a melhor estratégia para solucioná-lo. Você deve esquadrinhar o problema selecionado para definir as técnicas estatísticas e de machine learning que serão empregadas, sempre guiando seu processo pela questão: qual o valor e impacto do que eu estou fazendo?

A escolha do conjunto de dados a ser usado é também um ponto da fase de definição do problema. No Kaggle, por exemplo, existem diversos projetos e datasets que podem ser utilizados como base para seu projeto. Veja a lista de sites para baixar dados gratuitamente que nós criamos:

 

Entretanto, na indústria, muitas vezes um dos grandes desafios do cientista de dados é exatamente converter um problema de negócios em um problema de ciência de dados. Nesse sentido, algo interessante a se fazer é, em vez de utilizar algum problema ou dataset já existentes, definir seu próprio problema e, consequentemente, construir seu próprio banco de dados. Apesar de gastar algum tempo coletando os dados, essa etapa te ajudará a pensar na melhor maneira de coletar e reunir informações, e você estará aprendendo uma parte que nem sempre é ensinada na escola.

Claro que este último ponto não é obrigatório, mas é interessante realizá-lo porque te ajudará a explicar melhor aos outros seu pensamento estratégico ao enfrentar um problema.

 

2. Limpeza dos Dados 

O segundo passo deve ser a limpeza dos dados. Essa é uma parte que toma um tempo substancial do processo. Nessa etapa, datasets são unidos, são detectadas anomalias (por exemplo, “1”, “2”, “sol”), valores faltantes são identificados e imputados. A limpeza dos dados remove os principais erros e inconsistências no conjunto de dados e garante que os dados estejam prontos para análise.

 

3. Análise Exploratória dos Dados

Com a limpeza dos dados feita, o próximo passo é analisar. Essa é uma etapa extremamente importante porque lhe permite entender seus dados e fazer descobertas. Frequentemente, uma boa análise descritiva permite formular hipóteses e questões relevantes, utilizando medidas estatísticas (média, variância, correlação) e visualização (histogramas, box plots, gráficos de dispersão). Nesta parte, você:

(a) saberá a natureza de cada variável (qualitativa ou quantitativa);

(b) saberá qual a distribuição de cada uma;

(c) descobrirá se existem e quem são os outliers;

(d) identificará a relação entre as variáveis.

Muito mais pode ser feito durante este momento do processo. O essencial é mostrar sua capacidade em buscar e identificar nos dados coisas que outras pessoas podem não ter percebido, e tornar os modelos ajustados posteriormente ainda melhores.

4. Visualização Interativa dos Dados

Use gráficos apropriados para cada tipo de variável. Tente apresentar gráficos que capturem os olhos, mas que sejam simples e compreensíveis.  Visualizações interativas incluem ferramentas como dashboards, que são uma maneira rápida e fácil de interagir com os dados.  Uma boa visualização permite comunicar de forma clara o que há nos dados e o leva a ter insights adicionais.

Neste ponto você irá literalmente desenhar o que há nos dados.

 

5. Machine Learning

A aplicação de modelos estatísticos e machine learning é um ponto imprescindível na criação do seu portfólio. Inicialmente, não precisa ser algo muito complexo. Você pode escolher um modelo mais simples, como regressão linear e logística que são mais fáceis de ajustar e interpretar. Eles podem servir como uma base para avaliar seus próximos modelos.

Em seguida, crie um modelo baseado em machine learning, descreva como foi a escolha, compare com aqueles mais simples, ajustados anteriormente, e veja quais os problemas com seu último ajuste. Construa um segundo modelo de machine learning. Explique, nesta etapa, por que ele é melhor do que o anterior. O primeiro  não estava bem ajustado, você precisava de um modelo menos complexo ou necessitava adicionar algo, como regularização. 

Utilize métodos para seleção de modelos, avalie, por exemplo, a acurácia e a capacidade de previsão do seu ajuste. Repita a última etapa até se sentir confortável com os resultados obtidos. No final, seu portfólio terá além de um bom modelo, uma linha do tempo lógica explicando o processo de pensamento e como chegou ao modelo final.

6. Comunicação

A parte final do seu projeto, e que faz toda a diferença, é a comunicação. Você pode construir ótimos modelos, mas se você não for capaz de explicá-los de forma clara e objetiva para os demais, boa parte do seu trabalho pode ser perdida. Com os passos anteriores feitos, você contará uma história.

Great data scientists are great storytellers”.

Em primeiro lugar, saiba quem é o seu público, explique o que fez de forma clara e em termos simples. Escreva sobre o objetivo do projeto, apresente as principais análises exploratórias, elucide os resultados e impactos da modelagem, e diga o porquê seu projeto tem valor. Você não precisa incluir seu código, mas indiscutivelmente vincule-o ao GitHub.

 

Aprofunde-se

Essas foram as etapas selecionadas para te ajudar no direcionamento e construção do seu portfólio. E para que você se sinta ainda mais inspirado, conheça estes dois excelentes projetos em Ciência de Dados:

  1. Os projetos criados pelos estudantes de Stanford na turma de Machine Learning. Aqui, você encontra projetos de caráter acadêmico, mas com excelentes explicações sobre as soluções aplicadas ao problemas de Machine Learning
  2. Classificador de Lego usando TensorFlow no Raspberry Pi. Aqui, o autor do projeto explica detalhadamente o processo de criação do seu classificador de lego.

 

Aproveita a sessão de comentários e conte como tem sido seu processo de desenvolvimento de projetos para o portfólio.

Até mais!

 

 

 

Categorias
Ciência de Dados Programação trabalho Vagas Vagas Encerradas

Trabalhe como Desenvolvedor Full Stack no Insight Lab

Olá! Iniciamos hoje o processo de seleção para a vaga de Desenvolvedor Full Stack Pleno, que será responsável por atuar no desenvolvimento de aplicações web e desenvolver soluções inovadoras.

 

Competências obrigatórias: Python,  Docker, Shell Script, Jupyter Notebook, PostgreSQL, Conda, Git,  Javascript, HTML, CSS, Linux e Inglês.

Competências desejáveis: Kubernetes, Data Lake, Big Data, Django, Scala, Java, Spring Boot, MongoDB, Redis, Play Framework e Lagom Framework.

 

Carga Horária 

40 horas semanais.

 

Modalidade de contratação

CLT 

 

Local de exercício das atividades

O candidato atuará em nossa sede em Fortaleza-CE. No entanto, pela necessidade de distanciamento social imposta pela pandemia de Covid-19, durante o período inicial o candidato desenvolverá suas atividades remotamente.

 

Etapas da seleção

– Envio das respostas do desafio e preenchimento do formulário de inscrição: 14/08 a 28/08

– Entrevistas: 01/09 a 04/09

– Divulgação do Resultado: 07/09

 

Desafio e Formulário

Deseja preencher esta vaga? Então, solucione o desafio e depois acesse o formulário para registrar seus dados e enviar seu currículo. 

 

Clique aqui para acessar o documento com mais especificações e esclarecimentos sobre a vaga de Desenvolvedor Full Stack.

Boa sorte e continue acompanhando o Insight Lab para receber todas as nossas novas publicações.

 

Categorias
Big Data Ciência de Dados Webinar

Próximo webinar Insight Lab “O Eixo de Desenvolvimento em Projetos de P&D: Modelo Insight Lab”

Nesta semana, o Insight Lab continua sua série de webinars discutindo Projetos de Pesquisa, desta vez, com foco no desenvolvimento.

Nesta edição, vamos saber mais sobre como o Insight Lab lida com o desenvolvimento em um projeto de P&D, a nossa equipe multidisciplinar, a produtificação de uma pesquisa, as ferramentas de tecnologia, a influência do modelo de desenvolvimento nos nossos principais parceiros e também as ações de marketing aplicadas ao laboratório.

Venha conhecer e interagir com alguns dos profissionais que estão à frente do nosso laboratório de pesquisa em Ciência de Dados.

 

Palestrantes:

David Araújo – coordenador de Produtos

Emanuel Oliveira – líder Técnico

Flávio Carneiro – coordenador de Marketing

Igo Brilhante – coordenador Técnico

José Florêncio – coordenador Negocial

 

Anote!

23/07, quinta-feira 

Às 16h

Transmissão pelo Canal Insight Lab no youtube.

O evento é aberto e você poderá fazer perguntas e comentários aos palestrantes através do chat.

 

Acesse o link e ative a notificação.

Categorias
Ciência de Dados Destaque

Os 11 melhores canais de Data Science no Telegram

No Telegram, você encontra milhares de canais sobre os temas mais variados, entre eles, o de Ciência de Dados.

Nessa imensidão de conteúdos, é sempre bom ter uma dica para encontrar os melhores. Hoje, nós reunimos uma lista com 11 canais de Ciência de Dados no Telegram que todo cientista de dados precisa participar.

 

Confira:

1- (Canal) Insight Lab

Grupo de discussão do Insight Lab sobre Ciência de Dados, Inteligência Artificial e áreas correlatas.

 

2 – (Grupo) [DS & R] Ciência de Dados & R

Grupo destinado a estudantes e programadores da linguagem R ou de Ciência de Dados

 

3- (Grupo) Dados Abertos .BR

Discussões sobre tudo relacionado ao tema dados abertos no Brasil e no mundo. 

 

4- (Canal) Pizza de Dados

Notícias do Pizza de Dados,  podcast brasileiro sobre Ciência de Dados. Eles também divulgam notícias, eventos e dicas da área.

 

5 – (Canal) Data Science by ODS.ai

Muito popular no Telegram, o canal cobre conteúdos de IA, Big Data, Machine Learning, Estatística e Matemática em geral.

 

6 – (Canal) Artificial Intelligence && Deep Learning

Canal para quem é apaixonado por IA, Machine Learning, Deep Learning, Visão Computacional e Processamento de Imagem.

 

7 – (Canal) Artificial Intelligence

Focado em oferecer dicas de tutoriais, artigos, cursos e livros da área de Ciência de Dados.

 

8 – (Canal) Machine Learning

Divulgação de artigos de pesquisa, cursos e tutoriais em Data Science, IA e Machine Learning.

 

9 – (Grupo) bitgrit Data Science Community 

Com uma plataforma online de competições em IA, a bitgrit, seu grupo no telegram é voltado para cientistas de dados compartilharem seus conhecimentos e dúvidas na área.

 

10- (Canal) Data Learning 

Canal dedicado à Ciência de Dados, Machine Learning, Deep Learning e Redes Neurais. Aqui você vai encontrar livros, dicas de cursos, exemplos de aplicações e outros materiais. 

 

11- (Canal) Computer Science and Programing 

O canal traz um universo de conteúdos para você aprender Visão Computacional, Machine Learning, Deep Learning, IA e programação em Python.

 

Esse foi o último item da nossa lista, mas você também deve ter seus canais de Data Science preferidos, compartilha eles aqui nos comentários e ajude essa lista a crescer.

 

 

 

 

 

Categorias
Ciência de Dados Dica de Leitura Inteligência Artificial Machine Learning

10 livros para todo Cientista de Dados ler na quarentena

Se durante a sua vida profissional ou acadêmica, o grande problema foi encontrar tempo para ler, hoje, a realidade é outra. Pensando nisso o Insight Lab resolveu te dar uma ajudinha com dicas de leitura para você se aprimorar. Incluímos na lista obras técnicas e literárias que te trarão um conteúdo valioso e produtivo para sua carreira. Confira a lista.

 

1 – Python para Análise de Dados de Wes Mckinney.

Do mesmo criador da biblioteca Pandas, este volume é um guia para quem está no início da formação como programador. Ele ajuda a entender o funcionamento e a combinação de ferramentas para o tratamento de dados dentro do ambiente Python.

A obra é desenvolvida em seções curtas, o que torna a informação mais focada, isso ajudará o programador iniciante a identificar claramente os pontos centrais sem entrar em expansões ainda difíceis de entender.

 

 

 

2 – Data Science do Zero: Primeiras Regras com o Python  de Joel Grus

Neste livro você aprenderá, a partir do zero, como os algoritmos e as ferramentas mais essenciais de data science funcionam. Entenderá a desempenhar bibliotecas, estruturas, módulos e stacks do data science  ao mesmo tempo que se aprofunda no tema sem precisar, necessariamente, entender de data science.

 

 

 

 

 

3 – Storytelling com Dados de Cole Nussbaumer Knaflic.

O livro reflete sobre o que significa a organização dos dados em gráficos, a quem essas informações visuais serão 

apresentadas, e dentro de qual contexto. Para a autora a visualização dos dados é o ponto onde as informações devem estar mais sistematizadas, não podendo se tornar um enigma para quem observa.

Ao longo dos capítulos o livro nos mostra processos de concepção dos elementos para a visualização de dados e traz muitos exemplos de antes e depois, ou seja, exemplos de gráficos que não transmitem corretamente a mensagem e, em seguida, uma versão alternativa onde a informação foi apresentada de forma clara e eficiente.

 

 

4 – Mãos à Obra: Aprendizado de Máquina com Scikit-Learn & TensorFlow de Aurélien Géron.

Um dos melhores livros prático sobre Machine Learning. Seja para iniciante na área ou para quem já atua e precisa de um complemento.

De maneira prática, o livro mostra como utilizar ferramentas simples e eficientes para implementar programas capazes de aprender com dados. Utilizando exemplos concretos, uma teoria mínima e duas estruturas Python, prontas para produção, o autor ajuda você a adquirir uma compreensão intuitiva dos conceitos e ferramentas na construção de sistemas inteligentes.

 

 

 

5 – Learning Geospatial Analysis with Python de Joel Lawhead

Direcionado principalmente para desenvolvedores, pesquisadores e analistas de Python que desejam executar análises geoespaciais, de modelagem e GIS com o Python.

O livro é uma ótima dica para quem deseja entender o mapeamento e a análise digital e quem usa Python ou outra linguagem de script para automação ou processamento de dados manualmente.

 

 

 

 

6 – Learning Scala Programming de Vikas Sharma

O livro foi feito para programadores que desejam se familiarizar com a Linguagem de Programação Scala para escrever programas concorrentes, escaláveis ​​e reativos. Não é preciso ter experiência em programação para entender os conceitos explicados no livro. Porém, caso tenha, isso o ajudará a aprender melhor os conceitos.

O autor começa analisando os conceitos básicos da linguagem, sintaxe, tipos de dados principais, literais, variáveis ​​e muito mais. A partir daí, o leitor será apresentado às suas estruturas de dados e aprenderá como trabalhar com funções de alta ordem.

 

7 – The man who solved the market: how Jim Simons Launched the quant revolution de Gregory Zuckerman

Em tradução livre – O homem que resolveu o mercado: como Jim Simons lançou a Revolução Quant. Um livro não técnico, conta a história de Jim Simons, um matemático que começou a usar estatísticas para negociar ações, em uma época em que todo mundo no mercado usava apenas instintos e análises fundamentais tradicionais. 

Obviamente, todo mundo ficou cético em relação a seus métodos, mas depois de anos gerenciando seu fundo de investimentos e obtendo resultados surpreendentes, as pessoas acabaram cedendo e começaram a reconhecer o poder dos chamados quant hedge funds, que desempenham um papel enorme no setor financeiro nos dias atuais.

 

 

8 – Feature Engineering for Machine Learning de Alice Zheng e Amanda Casari

Embora a Engenharia de Recursos seja uma das etapas mais importantes no fluxo de trabalho da Ciência de Dados, às vezes ela é ignorada. Este livro é uma boa visão geral desse processo, incluindo técnicas detalhadas, advertências e aplicações práticas. 

Ele vem com a explicação matemática e o código Python para a maioria dos métodos, portanto, você precisa de um conhecimento técnico razoável para seguir adiante.

 

 

 

 

9 – The book of why de Judea Pearl e Dana Mackenzie

Muitas vezes nos dizem que “a correlação não implica causalidade”. Quando você pensa sobre isso, no entanto, o conceito de causalidade não é muito claro: o que exatamente isso significa?

Este livro conta a história de como vemos a causalidade de uma perspectiva filosófica e, em seguida, apresenta as ferramentas e modelos matemáticos para entendê-la. Isso mudará a maneira como você pensa sobre causa e efeito.

 

 

 

10 – Moneyball de Michael Lewis

Esta é a história de Billy Beane e Paul DePodesta, que foram capazes de levar o Oakland Athletics, um pequeno time de beisebol, através de uma excelente campanha na Major League Baseball, escolhendo jogadores negligenciados baratos.

 

Como eles fizeram isso? Usando dados. Isso mudou a maneira como as equipes escolhem seus jogadores, o que anteriormente era feito exclusivamente por olheiros e seus instintos. A história também inspirou um filme com o mesmo nome, e ambos são obras-primas.

 

 

Fonte: crb8.org.br

 

O que achou das dicas? Que mais livros você incluiria? Compartilha com a gente!

Sair da versão mobile