“O que não pode ser medido não pode ser gerenciado.” 
O autor dessa frase foi William Edwards Deming. E se você tem dúvidas sobre isso, basta saber que esse estudioso dos processos produtivos criou nada menos do que o sistema de produção just in time que foi implementado na Toyota inicialmente e depois revolucionou não apenas o setor automobilístico, mas o da produção industrial como um todo.

Todo gestor precisa se preocupar prioritariamente com a busca de indicadores de desempenho, inclusive sua própria performance. Resumidamente, significa que todo gestor precisa se preocupar prioritariamente com a busca de indicadores de desempenho, inclusive sua própria performance.


Benefícios das métricas de desempenho

Poderia parecer a história de ensinar padre nosso ao vigário, mas não é bem isso. Vejamos…
Ironicamente, os profissionais envolvidos com projetos de dados estão geralmente tão focados na mensuração do modelo aplicado no projeto que não se preocupam em medir os seus próprios desempenhos e o que representam em relação à experiência do cliente.
No entanto, a expansão da mensuração para além do desempenho do modelo permite avaliar mais holisticamente o progresso de um projeto e seu potencial impacto.

E, ao fazer medições com frequência, você pode descobrir possíveis problemas e mudar a direção do projeto de acordo. Se as métricas pintarem uma imagem muito sombria, você poderá reduzir suas perdas mais cedo e até iniciar outro projeto mais promissor, aplicando o que aprendeu no anterior. 
Agora é o momento de você apontar uma contradição em termos. Afinal, os cientistas de dados medem todos os tipos de métricas.

Sim, eles monitoram de perto as métricas de ciência de dados e KPIs como RMSE, F-scores ou coeficientes de correlação. Tais métricas são críticas para responder à pergunta: “quão bem o modelo está executando?”.

Mas, por si só, não pode responder a perguntas como: 
– Quão bem meu projeto está progredindo?
– O desempenho/eficiência da minha equipe está melhorando ao longo do tempo?
– Meu projeto terá um impacto?
Mas como você consegue medir propriamente o seu desempenho e o de sua equipe?

A resposta não é direta. Assim como as diferentes métricas de precisão do modelo medem diferentes tipos de modelos, diferentes métricas de gerenciamento de projetos podem ajudar a medir diferentes equipes, projetos e ambientes. Dez deles são discutidos abaixo.


Dez grupos de KPI de ciência de dados

Vamos começar com o resumo e depois mergulhar em cada um desses diferentes agrupamentos de métricas de ciência de dados.

1. Métricas tradicionais de gerenciamento de projetos
Os gerentes de projetos tradicionais comparam o tempo, o custo e o desempenho do escopo em relação a um plano de linha de base.
Por um lado, como os projetos de ciência de dados tendem a evoluir sem a adesão a um plano inicial detalhado, tais métricas de variação geralmente não são úteis. Por outro, muitas vezes é necessário que as equipes de projetos de ciência de dados cumpram prazos ou planos de recursos ou orçamentos.
Assim, métricas como taxa de conclusão de marcos dentro do prazo e orçamento real versus orçamento estimado ainda podem ser necessárias.

2. Métricas agile
Métricas agile populares, como velocidade do story point e porcentagem de histórias comprometidas concluídas, só ajudam se a equipe usar story points ou aproveitar estruturas iterativas com limite de tempo, como o Scrum. No entanto, tais práticas só podem ser práticas para as fases de produção do seu projeto.
Os tempos de ciclo, conforme enfatizado nas abordagens Kanban, são geralmente mais significativos, pois medem a rapidez com que uma equipe gera valor. Mas será preciso monitorar de perto e padronizar as definições de tarefas ou procurar tempos de ciclo mais definitivos, como: 

– Tempo desde a solicitação do projeto até o início para medir a largura de banda e receber novas solicitações;
– Tempo desde o início do projeto até a entrega do produto mínimo viável para medir a rapidez com que uma equipe pode entregar o valor inicial;
– Frequência de demonstração ou taxa de insights significativos para medir a frequência com que os resultados são entregues às partes interessadas,

3. Métricas lean
Quanto do tempo da sua equipe é trabalho real que agrega valor? Grande parte pode estar focada em tarefas administrativas, como cartões de ponto, reuniões ou intervalos perto do bebedouro. Embora não sejam evitáveis, devem ser mantidas a um nível razoável. Uma dessas métricas para rastrear isso é a eficiência, definida como a porcentagem de tempo gasto em atividades de valor agregado (isixsigma.com).

4. Métricas financeiras
O valor medido em termos financeiros costuma ser o conjunto de métricas mais importante para qualquer projeto baseado em organizações com fins lucrativos. A receita incremental obtida, o lucro incremental obtido ou os custos incrementais reduzidos estão entre as métricas mais simples, enquanto o período de retorno mede o tempo necessário para que os benefícios paguem os custos do projeto.
Métricas mais avançadas, nomeadamente o Valor Presente Líquido (VAL) e o Retorno do Investimento (ROI), medem o valor da entrada de fluxo de caixa do projeto em relação aos custos, tendo em conta o calendário dos fluxos de caixa e o valor temporal do dinheiro. Geralmente, várias dessas métricas combinadas com informações orçamentais pintam o quadro mais abrangente do impacto financeiro.

5. Impacto nas metas organizacionais
Embora as métricas financeiras tendam a ser um tanto padronizadas, as metas organizacionais variam drasticamente. Às vezes, essas metas podem ser medidas em termos financeiros, mas muitas vezes é melhor medir o impacto do projeto com as mesmas métricas que as partes interessadas usam para seus próprios projetos.

6. Criação de artefatos
O valor é muitas vezes derivado de projetos de formas que não estão diretamente relacionadas com os objetivos das partes interessadas. Por exemplo, as equipes podem criar novos conjuntos de dados ou um aplicativo de implantação durante um projeto. Tais artefatos são valiosos porque podem ser reutilizados (talvez com modificações) em outros projetos.
Assim, o número (ou valor) de artefatos criados pode ajudar a medir se a equipe está construindo uma infraestrutura subjacente eficaz para apoiar projetos futuros, enquanto o número (ou valor) de artefatos reutilizados pode medir se a equipe está aproveitando os frutos de projetos anteriores.

7. Competências adquiridas
Da mesma forma, os membros da equipe de ciência de dados muitas vezes precisam dedicar um tempo significativo ao aprendizado de novas tecnologias e algoritmos. Assim, o número de competências adquiridas pode indicar se a equipe do projeto adquiriu conjuntos de habilidades relevantes ao executar um projeto.

8. Satisfação dos stakeholders
A satisfação das partes interessadas é de extrema importância, especialmente para equipes ágeis (o primeiro Princípio Ágil afirma que “Nossa maior prioridade é satisfazer os clientes…”). O Net Promoter Score é uma métrica promovida pelos departamentos de marketing (hbr.org), que pode ser calculada a partir de pesquisas com clientes que se envolvem diretamente com o produto final de ciência de dados ou com a equipe de ciência de dados.

9. Métricas de desempenho de software
Projetos de ciência de dados ponta a ponta têm resultados de software que podem ser medidos por métricas de software. Os exemplos incluem contagem de defeitos, tempo de resolução de defeitos, frequência de revisões técnicas, latência (para aplicativos em tempo real) ou cobertura de testes automatizados.

10. Métricas do modelo de ciência de dados
E voltamos ao início… Sim, o desempenho do modelo técnico é um grupo-chave de métricas que pode orientar grande parte da estratégia do projeto.
Por exemplo: o desempenho do modelo é suficientemente melhor que o da linha de base? Se sim, talvez ofereça-o às partes interessadas e comece a testar o seu desempenho em experiências controladas.

Alternativamente: o desempenho do modelo está estável? Isso pode indicar que você deve encerrar o desenvolvimento do modelo (porque os resultados são tão bons quanto podem ser obtidos no momento) ou procurar diferentes técnicas ou conjuntos de dados que possam mudar drasticamente o trabalho de desenvolvimento do modelo

Fonte: Ecommerce Brasil

Em economias desenvolvidas, cerca de 60% dos empregos poderão ser impactados pela IA.

Cerca de 40% dos empregos do mundo serão impactados pelos efeitos da inteligência artificial (IA), sobretudo em países desenvolvidos, segundo estudo divulgado pela diretora-geral do FMI, Kristalina Georgieva.

Segundo os dados da análise, nas economias desenvolvidas, cerca de 60% dos empregos podem ser afetados pela IA. Sendo que metade desse total pode se beneficiar da integração com a tecnologia a fim de aumentar a produtividade. 

Por outro lado, as aplicações de IA poderão executar tarefas essenciais atualmente desempenhadas por seres humanos, o que poderá reduzir a procura de mão de obra resultando em salários mais baixos e a uma redução das contratações, avalia Georgieva. Nos casos mais extremos, alguns destes empregos podem até desaparecer.
        
“Historicamente, a automação e a tecnologia da informação tendem a afetar as tarefas rotineiras, mas a IA é capaz de impactar empregos altamente qualificados. Como resultado, as economias mais desenvolvidas enfrentam maiores riscos decorrentes da IA ​​— mas também mais oportunidades para aproveitar os seus benefícios — em comparação com os mercados emergentes e as economias de baixa renda”, disse Georgieva, diretora do FMI. 

Nos mercados emergentes (como o Brasil) e nos países de baixa renda, espera-se que a exposição à IA seja de 40% e 26%, respetivamente. Os dados sugerem que esses mercados enfrentam menos perturbações imediatas causadas pela IA. Ao mesmo tempo, muitos destes países não têm infraestruturas ou mão de obra qualificada para aproveitar os benefícios da IA, aumentando o risco de que, com o tempo, a tecnologia possa agravar a desigualdade entre as nações.

O Brasil, por exemplo, sofre há anos com a falta de mão de obra qualificada na área de tecnologia. O setor de tecnologia nacional vai precisar, entre este ano e 2025, de pouco mais de 540 mil profissionais, estima a Brasscom, associação de empresas de tecnologia. Porém, a dificuldade para contratar talentos é enorme.

Na visão do FMI, Singapura, EUA e Dinamarca são os países mais preparados para a integração da IA ao mercado de trabalho. Os dados são analisados conforme um “Índice de Preparação para a IA” do fundo, que mede em 125 países áreas como: 

- infraestrutura digital;
- políticas de capital humano e de mercado de trabalho;
- inovação e integração econômica; e
- regulação e ética. 

Se não pode vencê-la…
Na análise do FMI, a inteligência artificial também vai afetar a desigualdade de rendimentos dentro dos países. É possível que haja uma polarização entre os trabalhadores: de um lado, aqueles que vão aproveitar a IA a ver um aumento na sua produtividade e nos seus salários; do outro, aqueles que ficarão para trás —  sendo substituídos ou perdendo importância diante de automatizações, por exemplo.

Esse efeito pode ser maior ou menor, a depender do tamanho do auxílio que a IA vai dar para os trabalhadores com salários maiores. “Se a IA complementar significativamente os trabalhadores com rendimentos mais elevados, poderá levar a um aumento desproporcional do seu rendimento do trabalho. O fenômeno pode aumentar ainda mais  a desigualdade”, avallia a diretora-geral do FMI.

Fonte: Infomoney