Redes neurais profundas têm demonstrado desempenho e precisão notáveis em uma gama ampla de problemas. Dada a quantidade suficiente de dados de treinamento e uma topologia escolhida adequadamente, esses modelos atendem e excedem as capacidades humanas em certos espaços de problemas específicos. Contudo, eles são inerentemente obscuros. Embora partes de modelos possam ser reusadas por meio da transferência de aprendizado, raramente somos capazes de atribui significado inteligível por pessoas para estes elementos. Em contraste, um modelo explicável nos permite dizer como uma decisão foi tomada. Por exemplo, uma árvore de decisão produz uma cadeia de inferência que descreve o processo de classificação. A explicabilidade se torna crítica em certas indústrias reguladas ou quando nos preocupamos com o impacto ético de uma decisão. À medida que estes modelos são incorporados mais amplamente a importantes sistemas de negócios, é importante considerar a explicabilidade como critério de seleção de modelo de primeira classe. Apesar de seu poder, redes neurais podem não ser uma escolha adequada quando os requisitos de explicabilidade forem rigorosos.
