MAE, RMSE e MAPE: como saber se uma previsão errou pouco ou muito?

Introdução

Imagine duas pessoas tentando prever quanto vai chover amanhã.

Uma responde:

10 mm.

A outra:

14 mm.

No dia seguinte, observamos:

12 mm.

As duas erraram por 2 mm.

Nesse exemplo é fácil comparar.

Mas imagine centenas de previsões para CDI, inflação, cotações ou outros indicadores.

Um gráfico ajuda a enxergar o comportamento geral, mas precisamos de alguma forma objetiva de resumir:

quanto a previsão ficou distante do que realmente aconteceu?

É aí que entram as métricas de erro de previsão.

Três nomes aparecem com bastante frequência:

MAE

RMSE

MAPE

Os nomes parecem complicados.

A lógica não é.

Cada métrica transforma os erros produzidos durante um teste em um número que ajuda a comparar métodos.

Mas cada uma olha para esses erros de uma forma diferente.

Primeiro: o que é erro de previsão?

Em forecasting, erro é a diferença entre:

valor observado

e

valor previsto.

Podemos representar assim:

erro = observado − previsto

Imagine:

Real: 10

Previsto: 12

Erro:

10 − 12 = −2

Agora:

Real: 12

Previsto: 10

Erro:

12 − 10 = +2

O sinal informa a direção do erro.

Um valor negativo indica que a previsão ficou acima do observado.

Um positivo indica que ficou abaixo, seguindo essa convenção.

Mas, quando queremos saber apenas o tamanho do erro, esses sinais podem gerar um problema.

Por que não basta fazer a média dos erros?

Imagine quatro previsões com erros:

+10

−10

+10

−10

A média é:

0

Isso poderia dar a impressão:

“o modelo não errou.”

Mas ele errou dez unidades em todas as previsões.

O que aconteceu foi apenas uma compensação entre erros positivos e negativos.

Por isso, métricas como MAE e RMSE impedem que os sinais simplesmente se cancelem.

MAE: quanto eu errei, em média?

MAE significa:

Mean Absolute Error

ou:

Erro Absoluto Médio.

A ideia é extremamente simples:

1. calculamos cada erro;

2. ignoramos o sinal;

3. calculamos a média.

Imagine:

Agora:

MAE = (1 + 0 + 2) ÷ 3

MAE = 1

Isso significa que, naquele teste:

a previsão ficou, em média, uma unidade distante do valor observado.

Por que o MAE é fácil de interpretar?

Porque ele permanece na mesma escala da variável analisada.

Se estamos prevendo algo medido em reais, o MAE também estará em reais.

Se estamos analisando uma série expressa em pontos, o MAE estará em pontos.

Se a própria variável está expressa em pontos percentuais, o resultado estará nessa unidade.

A literatura de forecasting destaca justamente essa facilidade de interpretação do MAE quando comparamos métodos aplicados à mesma série ou a séries com a mesma unidade.

Cuidado com a palavra “percentual”

Imagine uma taxa observada de:

10% ao ano

e uma previsão de:

11% ao ano.

A diferença é:

1 ponto percentual.

Não simplesmente “1% de erro”.

Essa distinção importa.

Portanto, quando interpretamos MAE em séries de taxas, precisamos respeitar a unidade usada nos dados.

Uma analogia para MAE

Imagine tentar adivinhar o peso de várias malas.

Você erra:

1 kg

3 kg

2 kg

2 kg

O MAE responde:

“Em média, quantos quilos suas estimativas ficaram longe do peso verdadeiro?”

É exatamente esse tipo de leitura.

RMSE: erros grandes recebem mais peso

RMSE significa:

Root Mean Squared Error

ou:

Raiz do Erro Quadrático Médio.

A conta é diferente.

Em vez de usar diretamente o valor absoluto do erro, primeiro elevamos cada erro ao quadrado.

Depois:

• calculamos a média;
• tiramos a raiz quadrada.

A fórmula parece mais complicada, mas a principal intuição é:

erros maiores exercem influência proporcionalmente maior sobre o resultado.

Por que elevar ao quadrado muda tanto?

Considere dois erros:

2

e

8

No MAE, entram:

2

8

No cálculo do RMSE, antes da média eles viram:

2² = 4

8² = 64

Observe a diferença.

O erro de 8 não recebe apenas quatro vezes a contribuição do erro de 2.

Depois de elevado ao quadrado, sua contribuição é dezesseis vezes maior antes da média.

É por isso que o RMSE reage mais fortemente à presença de erros grandes.

Dois modelos com o mesmo MAE

Imagine:

Modelo A

Erros absolutos:

2 → 2 → 2 → 2

MAE:

2

RMSE:

2

Modelo B

Erros absolutos:

0 → 0 → 0 → 8

MAE:

2

Mas o RMSE é:

√[(0² + 0² + 0² + 8²) ÷ 4]

√16 = 4

Os dois possuem o mesmo MAE.

Mas o RMSE revela uma diferença importante:

o Modelo B concentra seu erro em um episódio muito grande.

O RMSE “pune” erros grandes?

Essa expressão é útil didaticamente, mas merece precisão.

Não existe uma entidade decidindo punir o modelo.

O que acontece matematicamente é:

a função quadrática atribui influência maior aos erros de grande magnitude.

Por isso, se erros grandes são especialmente indesejáveis para determinada aplicação, RMSE pode ser uma métrica relevante.

MAE baixo e RMSE alto: o que significa?

Uma diferença relevante entre MAE e RMSE sugere que erros de maior magnitude estão exercendo impacto importante.

Mas cuidado.

Não podemos afirmar automaticamente:

“houve exatamente um erro gigantesco.”

Pode ter ocorrido:

• um erro extremamente grande;
• alguns erros relativamente grandes;
• uma distribuição de erros mais desigual.

A conclusão correta é:

vale investigar a distribuição dos erros.

RMSE também fica na unidade da série

Apesar de elevar os erros ao quadrado durante o cálculo, a raiz quadrada no final devolve a métrica para a unidade original.

Por isso:

MAE e RMSE são ambos dependentes da escala.

Isso significa que não devemos comparar diretamente:

MAE de uma série em reais

com:

MAE de outra série em milhões de reais

e concluir que uma previsão é melhor apenas porque o número é menor.

O mesmo vale para RMSE.

MAPE: erro percentual médio

MAPE significa:

Mean Absolute Percentage Error

ou:

Erro Percentual Absoluto Médio.

A ideia é medir o erro em relação ao tamanho do próprio valor observado.

Imagine:

Situação A

Real:

R$ 100

Previsto:

R$ 90

Erro absoluto:

R$ 10

Erro percentual:

10%

Situação B

Real:

R$ 1.000

Previsto:

R$ 990

Erro absoluto:

R$ 10

Erro percentual:

1%

O MAE trataria os dois erros individuais como R$ 10.

O erro percentual mostra que o mesmo desvio possui importância relativa muito diferente.

Por que o MAPE é atraente?

Porque seu resultado aparece em porcentagem.

Isso costuma ser muito intuitivo.

Um MAPE de:

5%

pode ser lido, aproximadamente, como:

“o erro percentual absoluto médio foi de 5% naquele teste.”

Outra vantagem é que métricas percentuais não carregam diretamente a unidade original da série.

Isso pode facilitar algumas comparações entre conjuntos de dados com escalas diferentes.

Mas o MAPE tem uma grande armadilha: zero

A fórmula do erro percentual divide o erro pelo valor observado.

O que acontece se o real for:

0?

Teríamos uma divisão por zero.

O MAPE fica indefinido.

E se o observado estiver muito perto de zero?

O percentual pode assumir um valor enorme.

A literatura de forecasting destaca exatamente esse problema: métricas baseadas em percentual podem ser indefinidas ou infinitas quando o observado é zero e extremamente grandes quando o valor real está próximo de zero.

Exemplo do problema perto de zero

Imagine:

Real:

0,01

Previsto:

0,02

O erro absoluto é:

0,01

Pode parecer minúsculo.

Mas proporcionalmente:

0,01 ÷ 0,01 = 100%

Agora imagine pequenas oscilações próximas de zero em uma série.

O MAPE pode produzir percentuais enormes e dominar a interpretação.

Por isso:

MAPE não deveria ser usado automaticamente apenas porque porcentagem parece fácil de entender.

Existe outra limitação do MAPE

Métricas percentuais pressupõem que o zero da escala tenha significado.

Em algumas variáveis isso funciona.

Em outras, não.

A literatura de forecasting também ressalta que medidas percentuais exigem uma escala em que zero tenha interpretação significativa.

Para muitas variáveis financeiras positivas isso pode não ser o principal problema.

Ainda assim, é uma limitação conceitual importante.

MAE, RMSE e MAPE lado a lado

Uma visão simples:

Nenhuma é perfeita.

Cada uma destaca uma característica diferente.

Menor sempre significa melhor?

Se estivermos comparando:

• os mesmos pontos de teste;
• a mesma série;
• a mesma definição da métrica;

então, para MAE, RMSE ou MAPE:

menor valor significa menor erro segundo aquela métrica.

Mas isso não significa:

“este é o melhor algoritmo para sempre.”

Significa:

“foi melhor segundo esta métrica neste experimento.”

Métricas diferentes podem escolher vencedores diferentes

Considere:

Modelo A

Possui vários erros moderados, mas nenhum muito grande.

Modelo B

Acerta muitos pontos quase exatamente, mas comete alguns erros grandes.

O MAE pode favorecer B.

O RMSE pode favorecer A.

Nenhum cálculo está necessariamente errado.

As métricas estão valorizando características diferentes.

A literatura de forecasting observa explicitamente que diferentes medidas de acurácia podem levar a conclusões diferentes sobre qual método é melhor.

Então qual é a melhor métrica?

Não existe uma resposta universal.

A pergunta correta é:

qual tipo de erro importa para esta aplicação?

Se interpretação na unidade original importa

MAE pode ser uma boa escolha.

Se grandes desvios são especialmente relevantes

RMSE pode receber mais atenção.

Se a escala relativa importa e os valores estão adequadamente afastados de zero

MAPE pode acrescentar informação.

Em muitos projetos, usar mais de uma métrica é útil justamente porque cada uma mostra uma parte diferente do desempenho.

Métrica e função de decisão não são a mesma coisa

Suponha que um modelo possua MAE ligeiramente menor.

Isso significa que deve ser usado automaticamente?

Não necessariamente.

Podemos também considerar:

• estabilidade;
• complexidade;
• horizonte;
• comportamento em diferentes períodos;
• custo de erros específicos;
• interpretabilidade.

Uma métrica resume erros.

Ela não toma toda a decisão metodológica.

As métricas não produzem previsão

Essa distinção é fundamental.

O fluxo é:

1. modelo→
2. previsão→
3. comparação com o observado→
4. erro→
5. métrica→

MAE, RMSE e MAPE não descobrem o futuro.

Elas avaliam previsões depois que possuímos uma referência observada para comparação.

Então como avaliamos antes do futuro chegar?

Usando dados históricos.

Uma estratégia é o hold-out temporal.

Imagine:

1 → 2 → 3 → 4 → 5 → 6 → 7 | 8 → 9 → 10

Escondemos:

8 → 9 → 10

O modelo recebe somente:

1 → 2 → 3 → 4 → 5 → 6 → 7

Depois tenta prever o trecho escondido.

Como sabemos que os valores reais foram:

8 → 9 → 10

podemos calcular MAE, RMSE e MAPE.

Hold-out e métrica são coisas diferentes

Essa distinção pode ser memorizada assim:

hold-out monta a prova;

métrica calcula a nota.

Hold-out define:

quais observações ficam reservadas para avaliação.

MAE, RMSE e MAPE definem:

como resumimos os erros produzidos nessa avaliação.

Métricas de treinamento não são iguais a erro de previsão real

Um modelo pode se ajustar extremamente bem aos dados usados em sua construção.

Isso não significa que preverá bem observações futuras.

Avaliações de forecast devem privilegiar erros obtidos sobre dados não utilizados para ajustar o modelo.

A literatura de forecasting mostra que medidas calculadas sobre dados de treinamento tendem a ser mais otimistas do que aquelas obtidas em verdadeira avaliação temporal.

Horizonte também importa

Imagine que um modelo seja excelente para prever:

um passo à frente.

Isso não significa que manterá o mesmo erro em:

oito passos.

Avaliações por horizonte mostram frequentemente crescimento do erro à medida que a distância da previsão aumenta.

Por isso, uma análise pode separar:

MAE em h=1

MAE em h=3

MAE em h=12

Em vez de transformar todos os horizontes em um único número.

Comparar métricas exige o mesmo teste

Imagine:

Modelo A → MAE calculado sobre janeiro a março.

Modelo B → MAE calculado sobre abril a junho.

Não podemos concluir com segurança qual foi melhor apenas comparando os dois números.

Os métodos enfrentaram períodos diferentes.

Para uma comparação justa, eles devem ser avaliados sob condições equivalentes.

Outra métrica útil: MASE

Embora este artigo seja centrado em MAE, RMSE e MAPE, existe outra medida útil:

MASE — Mean Absolute Scaled Error.

Ela compara os erros absolutos do método com uma referência simples baseada no histórico.

Uma vantagem é permitir comparações entre séries em situações nas quais as escalas são diferentes, evitando algumas das dificuldades do MAPE.

Isso mostra que MAE, RMSE e MAPE não esgotam o assunto.

São três ferramentas importantes dentro de um conjunto maior.

E o “ritmo” da previsão?

Uma plataforma pode escolher adicionar critérios próprios além das métricas tradicionais.

Por exemplo, pode avaliar se a trajetória projetada acompanha determinadas características do movimento observado.

Se o EuPlanejei utilizar uma penalidade relacionada ao ritmo, isso deve ser entendido como:

um critério adicional da função de ranking.

Não como uma definição universal de MAE, RMSE ou MAPE.

Assim podemos separar claramente:

Métricas tradicionais

MAE

RMSE

MAPE

Critério adicional do sistema

Comportamento ou ritmo da trajetória.

Essa distinção melhora a transparência.

Como interpretar o ranking do EuPlanejei

Se uma comparação automática utilizar MAE como um dos critérios principais, a leitura saudável é:

“esta configuração apresentou determinado desempenho no teste.”

Não:

“ela conhece o futuro.”

RMSE pode ajudar a enxergar a influência de erros grandes.

MAPE pode fornecer uma leitura proporcional quando sua aplicação é adequada.

E outros critérios podem participar da pontuação.

O ranking continua condicionado ao:

• histórico;
• hold-out;
• horizonte;
• candidatos;
• métricas;
• função de score.

Um exemplo completo

Imagine:

Modelo A

Erros absolutos:

2, 2, 2, 2

MAE = 2

RMSE = 2

Modelo B

Erros absolutos:

0, 0, 0, 8

MAE = 2

RMSE = 4

O MAE empata os métodos.

O RMSE distingue seus perfis.

Isso não significa automaticamente que A é superior para qualquer finalidade.

Significa que B apresentou um grande desvio que teve impacto maior na métrica quadrática.

Outro exemplo: MAPE

Imagine:

Série A

Real = 100

Previsto = 90

Erro absoluto:

10

MAPE daquele ponto:

10%

Série B

Real = 10

Previsto = 0

Erro absoluto:

10

Erro percentual:

100%

O erro absoluto é idêntico.

A importância proporcional é completamente diferente.

Isso é justamente o tipo de informação que o MAPE tenta capturar.

Erros comuns ao interpretar métricas de previsão

Erro comum: Somar erros positivos e negativos e concluir que erro médio zero significa previsão perfeita.

Erro comum: Comparar MAE de séries com unidades ou escalas completamente diferentes sem ajuste.

Erro comum: Dizer que RMSE “encontrou um outlier” apenas porque está alto.

Erro comum: Usar MAPE quando existem zeros sem considerar que a métrica pode ficar indefinida.

Erro comum: Usar MAPE perto de zero e ignorar percentuais extremos.

Erro comum: Declarar vencedor universal porque uma configuração ganhou em um hold-out.

Erro comum: Comparar métricas calculadas em períodos de teste diferentes.

Erro comum: Confundir erro de treinamento com capacidade de previsão fora da amostra.

Erro comum: Achar que as métricas produzem a previsão.

Erro comum: Tratar um critério adicional de ranking como se fosse parte da definição oficial de MAE ou RMSE.

No EuPlanejei

Ao comparar métodos de projeção, métricas de erro ajudam a transformar:

“este gráfico parece melhor”

em:

“este método apresentou estes erros no teste.”

O MAE oferece uma leitura direta na escala da série.

O RMSE destaca mais fortemente grandes desvios.

O MAPE pode fornecer uma visão percentual quando a série permite esse tipo de interpretação.

Essas informações podem ser combinadas com outros critérios metodológicos do ranking.

O objetivo não é encontrar um algoritmo infalível.

É tornar a comparação mais explícita.

Experimente no euplanejei (cenários ilustrativos)

As ferramentas abaixo servem para aprender e comparar cenários ilustrativos. Elas não substituem análise pessoal, nem constituem recomendação de compra, venda ou contratação de produto.

Use históricos, projeções e métodos para observar como diferentes premissas mudam a trajetória. Os resultados são estimativas educativas, não garantias sobre valores futuros.

• Hub de simulações
• Projeções de séries
• Projeções de índices
• Análises
• Comparação de algoritmos

Continue a série:

• Artigo anterior: Tendência e Holt: como projetar uma direção sem transformar o passado em destino
• Próximo artigo: Hold-out temporal: como guardar o final da série para testar uma previsão

Conclusão: medir erro é diferente de prever

MAE, RMSE e MAPE ajudam a responder:

quanto uma previsão ficou distante do que realmente aconteceu?

Cada uma enxerga essa distância de maneira diferente.

O MAE é simples e permanece na unidade da série.

O RMSE também permanece nessa unidade, mas dá mais influência aos erros grandes porque utiliza erros ao quadrado.

O MAPE transforma os desvios em percentuais, mas exige cuidado especial quando valores observados estão em zero ou próximos dele.

Guarde três ideias:

MAE = tamanho absoluto médio dos erros;

RMSE = métrica quadrática mais sensível a erros grandes;

MAPE = erro percentual médio, com limitações importantes perto de zero.

E uma quarta:

Métricas não eliminam a incerteza do futuro.

Elas tornam nossa avaliação do passado mais disciplinada.

Continue aprendendo sobre previsão, séries temporais e planejamento financeiro no EuPlanejei.com.

Próximo passo: acesse o euplanejei e explore o hub de simulações para comparar cenários ilustrativos. Use os resultados como apoio educativo, não como recomendação nem garantia.

FAQ sobre MAE, RMSE e MAPE

Qual métrica devo olhar primeiro?

Não existe uma ordem obrigatória. O MAE costuma ser um bom ponto de partida por ser simples e permanecer na unidade da série. RMSE ajuda a identificar maior influência de erros grandes, enquanto MAPE pode acrescentar uma perspectiva proporcional quando os dados são adequados para percentuais.

MAE baixo e RMSE alto significam que houve um erro enorme?

Não necessariamente. A diferença indica que erros de maior magnitude estão influenciando mais o RMSE. Pode haver um erro muito grande ou vários erros relativamente grandes. É melhor inspecionar a distribuição dos erros.

Posso usar MAPE em qualquer série?

Não. Se o valor observado for zero, o erro percentual é indefinido. Se estiver muito perto de zero, o MAPE pode assumir valores extremos.

O método com menor MAE é sempre o melhor?

Não. Ele apresentou menor erro absoluto médio naquele teste. Outra métrica pode produzir outro ranking, e o desempenho pode mudar em outros períodos ou horizontes.

Por que usar hold-out ou validação temporal?

Porque queremos calcular as métricas sobre previsões produzidas para dados que não participaram do ajuste do modelo. Avaliar apenas o treinamento tende a produzir uma visão mais otimista da precisão.

Referências

• Hyndman & Athanasopoulos — Forecasting: Principles and Practice: avaliação de MAE, RMSE, MAPE e outras métricas.
• Hyndman et al. — Forecasting: Principles and Practice, the Pythonic Way: erros dependentes de escala, percentuais e validação temporal.
• Banco Central do Brasil — séries econômicas e financeiras.