Aprendizado de máquina e otimização de banco de dados

Aprendizado de máquina para aplicativos de TI

O aprendizado de máquina é um ramo da inteligência artificial. Com base em conjuntos de dados existentes e algoritmos Por exemplo, padrões e regularidades podem ser reconhecidos e previsões e soluções podem ser desenvolvidas. Utilizando modelos matemáticos e estatísticos predeterminados, aprendemos com o passado e geramos automaticamente conhecimento artificial, que é parcialmente explícito, por exemplo, na forma de clusters aprendidos, e parcialmente implícito, por exemplo, na forma de estruturas implícitas aprendidas em redes neurais. O conhecimento adquirido a partir dos dados pode ser generalizado e utilizado para novas soluções de problemas ou para a análise de dados anteriormente desconhecidos. Por exemplo, se houver clusters aprendidos (grupos de dados significativos e relacionados), casos, pessoas, eventos etc. que ocorrem recentemente podem ser classificados neles com relativa facilidade com base em suas propriedades. Isto oferece uma ampla gama de áreas de aplicação na otimização de processos - especialmente na área de TI e Otimização de banco de dados. Se estiverem disponíveis dados adequados e forem determinados procedimentos, processos e regras de aprendizagem, os sistemas com aprendizagem automática são, por exemplo, capazes de:

• Encontre, extraia e resuma dados essenciais
• Faça previsões com base nos dados analisados
• Calcular probabilidades para certas ações
• Adaptar-se aos desenvolvimentos de forma independente (aprendizado)
• Otimize processos com base em padrões reconhecidos

Esta abertura da aprendizagem automática é ainda reforçada por diferentes tipos de aplicações e tipos de aprendizagem. O banco de dados pode estar disponível online ou offline. Pode ser uma entrada de dados única ou uma alimentação constante de dados. Exemplos de tipos de aprendizagem são:

• Aprendizagem supervisionada: O algoritmo recebe casos de exemplo de pares de entrada-saída com rótulos explícitos, que são usados ​​para aprender uma função que combina uma entrada (por exemplo, um caso atual, um evento, uma pessoa) com uma saída (por exemplo, grupos/cluster) .
• Aprendizagem não supervisionada: o algoritmo aprende padrões em dados sem rótulos pré-existentes. Isso permite que padrões novos e até então desconhecidos sejam descobertos explorativamente.
• Aprendizagem semissupervisionada: aqui, dados com e sem rótulos são usados ​​no treinamento, pois rotular todos os dados de treinamento pode ser muito demorado e caro.
• Aprendizagem por Reforço: Aqui o algoritmo aprende/otimiza por meio de recompensa e punição em relação a uma otimização desejável. Um exemplo de aplicação é otimizar um processo para atingir um objetivo específico no menor tempo possível.

No geral, as áreas de aplicação do aprendizado de máquina em TI são muito diversas. Os exemplos incluem reconhecimento de e-mails de spam, reconhecimento de voz e texto para assistentes digitais ou detecção automática de fraudes de cartão de crédito. Nem é preciso dizer que o aprendizado de máquina pode ser usado de diferentes maneiras na otimização de banco de dados.

Tipos de otimização de banco de dados

Otimizando um banco de dados pode ser usado para acelerar processos importantes, fazer melhor uso dos recursos de TI ou melhorar a qualidade/consistência dos dados. “Em muitas empresas, a otimização do banco de dados costuma ser inevitável”, diz Wendl. “Se, por exemplo, as consultas de dados padronizados demoram uma eternidade, isso não só custa um tempo de trabalho valioso, mas muitas vezes também cria frustração a todos os níveis - com longos tempos de carregamento em lojas online, em portais online, no escritório, etc., mesmo certos até o cliente.” No dia a dia da empresa, muitas vezes são usados ​​vários tipos muito diferentes. bases de dados mesclados ou falta uma fusão necessária, o que também pode criar conjuntos de dados inconsistentes (por exemplo, na forma de dados ausentes, atribuições incorretas, etc.). Uma otimização bem-sucedida pode, portanto, cobrir necessidades muito diferentes - dependendo do problema específico e dos processos dependentes da empresa.

Otimizações de banco de dados e aprendizado de máquina

Sempre houve uma proximidade dos DBAs com a aplicação de procedimentos analítico-estatísticos para fins de análise e otimização. Desta forma, os dados de desempenho do banco de dados podem ser analisados ​​estatisticamente (também ao longo do tempo) para utilizar os insights obtidos para otimizações posteriores. Além disso, por meio de Inteligência de negócios Os algoritmos de aprendizado de máquina analisam grandes quantidades de dados para otimizar os processos de negócios. Neste ambiente, as tentativas de tais instrumentos também são surpreendentes Otimização de banco de dados usar pouco em si. Existem diversos produtos no mercado que permitem o manejo otimizado das rotinas de extração, transformação e carregamento em bancos de dados. Dependendo dos bancos de dados, do software utilizado, dos processos de negócios mapeados e da infraestrutura de TI subjacente, o aprendizado de máquina pode ser usado, por exemplo, para aprendizado dinâmico do comportamento do banco de dados ao longo do tempo (por exemplo, picos de consulta em determinados horários do dia, comportamento estrutural do usuário , etc.) e otimizações automatizadas. É claro que a empresa também deve ter conhecimento prático (por exemplo, sobre o tipo de joins a serem usados ​​para consultas complexas ao banco de dados).

Sistemas de banco de dados baseados em aprendizado de máquina

Existem vários no mercado Sistemas de banco de dados disponíveis que incorporam aprendizado de máquina em sua lógica e arquitetura desde o início. Um exemplo é o banco de dados deepSQL, que é otimizado para grandes quantidades de dados e para a nuvem. Ele combina um banco de dados relacional projetado para realizar streaming de dados, transações e análises no espaço da nuvem simultaneamente com aprendizado de máquina para resolver problemas associados a bancos de dados tradicionais, como simultaneidade, cache e calibração, que comprometem a flexibilidade, o desempenho e a escalabilidade restrita. A resposta da empresa aos problemas dos bancos de dados tradicionais é chamada de CASSI (Continuously Adapting Sequential Summarization of Information), baseada em um “loop de autoajuste” que inclui quatro fases: observar e analisar, prever e adaptar, orquestrar e otimizar, e o ciclo fechar. A memória e o disco rígido são separados para que possam ser configurados de forma independente. Por exemplo, o aprendizado de máquina prevê o que precisa ser organizado na memória para lidar com a execução simultânea de cargas de trabalho de alto desempenho.