Implementar IA e dados: Como começar

Com certeza que já sabe que a Inteligência Artificial (IA) e dados têm muitas aplicações práticas para melhorar o seu negócio. Boa. Tornar-se consciente é o primeiro passo! Mas então, precisa de sujar as mãos e … IMPLEMENTÁ-LO.

É aqui que vem a realidade… e poucos falam sobre isso.

Na Altitude Software, além de fornecer IA baseada em dados para os nossos clientes, também implementamos os nossos algoritmos baseados em dados para melhorar a nossa própria eficiência.

Tenho liderado esta transformação digital nos últimos 2 anos. Portanto, sei muito bem que, além do melhor algoritmo possível, conforme a Altitude fornece, existem outros fatores-chave para o  sucesso de melhorar o seu negócio, ao implementar IA e dados.

Aqui pode encontrar algumas dicas e pensamentos importantes que gostaria de partilhar consigo hoje:

Big Data vs Small Data

Machine learning em geral oferece melhores resultados com big data, permitindo maneiras mais rápidas e eficientes de projetar algoritmos (exemplo de classificação gato/cão).

E muitos dados já estão disponíveis, qualquer empresa os tem. No entanto, às vezes, não há dados “suficientes”, nem tudo é BIG data.

Isso significa que não posso usar os dados? Significa que não há padrões a serem encontrados porque não tenho dados suficientes?

Depende. Nem todos os problemas precisam de muitos dados para serem resolvidos. Na pior das hipóteses, se não tiver dados “suficientes”, pode significar que não pode ter um algoritmo que aprende por si mesmo a partir dos dados, mas provavelmente tem dados suficientes para automatizar muitas respostas a certos comportamentos e eventos. Podemos criar uma aprendizagem guiada.

Conclusão: comece com os dados disponíveis, mesmo que não pareçam ser muitos.

Um passo de cada vez

Depois de começar aos poucos a implementação de IA e dados, existem algumas etapas que o levarão a um uso completo dos seus dados:

1. Obtenha/crie os seus dados se não os tiver

Existem muitos dados ao nosso redor, mas nem todos estão acessíveis ou armazenados. Existem aspectos de privacidade e confidencialidade que precisam de ser respeitados, por meio de acordos específicos ou eventualmente anonimato.

2. Faça o “exercício de introspecção”: conheça-se a si mesmo, conheça os seus dados, enriqueça os seus dados, crie um perfil do seu problema

É necessário organizar / estruturar / classificar os seus dados. É aqui que provavelmente passará a maior parte do tempo! O sistema acabará por aprender a fazer isso sozinho, mas para começar, precisa de pelo menos decidir qual é que deve ser a classificação e o processamento (e provavelmente fazê-lo manualmente, pelo menos na primeira vez).

Claro, o processo vai trazer surpresas: terá pensado numa classificação inicial, e no processo de classificação apercebe-se que está a faltar um ou outro aspecto. Aprende isso analisando os seus dados e levará várias iterações até que se sinta confiante de que tem um bom modelo de classificação.

Este primeiro conjunto de dados pré-classificados já permitirá que crie uma primeira Base de Conhecimento para uma aprendizagem manual. Boas ferramentas de visualização também podem ajudá-lo a obter um grande valor comercial apenas a partir desta primeira etapa.

3. Processe os seus dados

Prepare-os para o algoritmo. Se isso for feito centralmente, pode ser bastante simples (no início), embora algumas iterações também sejam esperadas até que encontre o processamento correto.

Se for edge processing (na origem, como na IoT), então terá que pensar cuidadosamente no tipo de processamento que deseja fazer, pois alterá-lo posteriormente na origem pode ser complicado.

Depois de ter um primeiro conjunto de dados, processado e organizado, pode escolher um algoritmo de ML (Machine learning) e treiná-lo, avaliá-lo e ajustá-lo. Pode levar várias iterações entre as etapas 1, 2 e 3 até que fique satisfeito com os resultados.

4. Escolha um algoritmo de ML

Treine, avalie e ajuste. Isso pode levar várias iterações entre as etapas 2, 3 e 4 até que fique satisfeito com os resultados.

5. Aqui é onde começa a obter tração

Começou por classificar manualmente os seus dados e foi um trabalho enorme. Mas, uma vez que o algoritmo aprendeu a classificar com confiança, já será capaz de passar para a pré-classificação automática de dados, modelagem preditiva e algoritmos de otimização. O algoritmo será capaz de completar a sua KB e sugerir novos dados que podem estar a faltar no seu conjunto.

Cuidado com as armadilhas na sua jornada de dados

Ao implementar IA e dados, não existe um “algoritmo de IA universal”, tudo depende dos seus dados e terá que ser adaptado aos seus dados. Portanto, não se esqueça de que existem algumas armadilhas a evitar na jornada de dados:

1. O primeiro desafio: obter bons dados para treinar o seu modelo de ML. Parece óbvio, mas:

• “Entra lixo, sai lixo”: se os dados iniciais são de baixa qualidade (mal organizados, por exemplo), obtém resultados de baixa qualidade.
• Às vezes esquecemo-nos que o algoritmo irá apenas prever ou representar o universo dos seus dados de treino. Se os seus dados contiverem apenas expressões em espanhol de espanhóis, por exemplo, pode haver problemas para fazer sugestões para conversas em espanhol na América Latina. Certifique-se de ter conjuntos de dados que representam todos os universos diferentes sobre os quais deseja que o seu algoritmo aprenda.
• Não se esqueça de atualizar constantemente os seus conjuntos de dados de treino, para não peder o contato com a realidade.

2. Onde processar os dados: processamento central vs processamento de ponta?

Se optar pelo último, e às vezes não tiver escolha, precisa de ter a certeza do processamento correto, porque alterá-lo quando é distribuído por muitos dispositivos não é nada fácil.

3. E, finalmente, Gestão da Mudança:

Quando introduzir a automatização pelo uso de dados e ML, é claro que vai implicar a mudança de muitos processos da sua empresa. Mesmo para uma empresa de tecnologia como a Altitude Software, onde os funcionários são tecnicamente experientes e prontos para adotar os últimos avanços, representa um desafio que não pode ser minimizado.  É necessário trabalhar o fator humano de adoção de mudanças para garantir o sucesso.

No final, implementar IA e dados com sucesso envolve cerca de 3 fatores-chave de sucesso:

• Visão: seja ambicioso, saiba onde quer chegar.
• Conhecimento técnico: trata-se de aplicar a tecnologia para resolver um problema de negócios. Compreender as ferramentas disponíveis e possíveis problemas é fundamental.
• Liderança, orientação para resultados, flexibilidade e persistência. Não há magia, é tudo sobre a junção de negócios, tecnologia e pessoas.