Ampliando o processo de construção de um mecanismo de recomendação

Mais de 80% dos programas que as pessoas assistem na Netflix são descobertos por meio do mecanismo de recomendação da plataforma. Isso significa que a maior parte do que seus olhos veem é resultado de decisões tomadas por uma máquina sofisticada.

O serviço de streaming conta com inteligência artificial para analisar as nuances do conteúdo e mergulhar fundo nas preferências dos espectadores. E é seguro dizer: o esforço compensa!

Se você ainda está atrasado, mas deseja melhorar a experiência de seus clientes com sua empresa, continue lendo. Nesta postagem do blog, orientamos você no processo de criação de um mecanismo de recomendação e esclarecemos tudo o que você precisa saber antes de recorrer a fornecedores de serviços de IA.

Mecanismos de recomendação 101: coisas a saber antes de se aventurar no desenvolvimento

Antes de começarmos a criar um mecanismo de recomendação, vamos examinar os tipos, casos de uso e opções de implementação de um.

Tradicionalmente, os sistemas de recomendação são divididos em duas grandes categorias: filtragem baseada em conteúdo e sistemas de filtragem colaborativa.

Filtragem baseada em conteúdo

Os sistemas de filtragem baseados em conteúdo geram recomendações com base nas características ou funcionalidades do conteúdo. Em outras palavras, eles recomendam produtos ou conteúdos semelhantes aos que um usuário gostou ou interagiu antes. Dessa forma, um mecanismo de recomendação pode sugerir “A Farewell to Arms” para um leitor que gostou de “All Quiet on the Western Front” e “Catch-22”.

Mas como o mecanismo sabe quais itens são semelhantes? Vejamos a abordagem da Netflix para criar um mecanismo de recomendação para entender isso. Embora o sistema de recomendação da Netflix seja de natureza híbrida, ele depende muito da similaridade de conteúdo.

O serviço de streaming conta com uma equipe de taggers, que assistem a cada novo conteúdo e o rotulam. As tags variam enormemente, desde o quanto a peça é cheia de ação até se é ambientada no espaço ou protagonizada por um ator em particular. Analisar os dados da tag em relação ao comportamento do visualizador com algoritmos de aprendizado de máquina permite que a plataforma de streaming descubra o que é realmente relevante para cada usuário.

Filtragem colaborativa

Os sistemas de filtragem colaborativa fazem recomendações com base no feedback do usuário. Esses sistemas assumem que os usuários que gostaram de itens semelhantes provavelmente reagirão de maneira semelhante a novos produtos e conteúdos.

Existem duas abordagens para construir um mecanismo de recomendação baseado em filtragem colaborativa: baseada em usuário e baseada em item.

Com a filtragem baseada no usuário, você cria segmentos de usuários semelhantes com preferências compartilhadas. Assim, é provável que um usuário receba uma recomendação de um item que outros usuários do segmento gostaram. As características do conteúdo não são levadas em consideração.

Com a filtragem baseada em itens, o mecanismo cria recomendações com base na semelhança dos itens que um usuário gostou com os sugeridos. Parece semelhante à filtragem baseada em conteúdo, não é? Embora os sistemas de filtragem baseada em conteúdo e de filtragem colaborativa baseada em itens usem a similaridade de itens para fazer recomendações, eles diferem em como determinam o que é semelhante.

Os sistemas de filtragem baseados em conteúdo apenas recomendam itens semelhantes aos que o usuário já gostou. Com a filtragem colaborativa baseada em itens, você receberá uma recomendação de um item semelhante ao que você gostou e que também é apreciado pelos usuários do seu segmento.

Os casos de uso de mecanismos de recomendação

Um alto grau de personalização tornou-se uma necessidade que os usuários esperam, levando as empresas a enriquecer suas experiências online com mecanismos de recomendação. Os setores onde os mecanismos de recomendação se tornaram comuns abrangem:

• Varejo e comércio eletrônico: os mecanismos de recomendação no comércio eletrônico podem fazer qualquer coisa, desde categorizar produtos até sugerir novos itens para os clientes comprarem. É difícil superestimar o impacto gerado pela implementação de um mecanismo de recomendação no comércio eletrônico e pelo atendimento aprimorado ao cliente, marketing aprimorado e possibilidades mais amplas de vendas adicionais que o acompanham. Por exemplo, o conhecido magnata do comércio eletrônico, Amazon, gera 35% de sua receita com a ajuda de seu sistema de recomendação.
• Mídia e entretenimento: desde a curadoria de listas de reprodução até a oferta de sugestões personalizadas com base em interações anteriores, os mecanismos de recomendação ajudam as plataformas de mídia e entretenimento a envolver os usuários por mais tempo, mostrando-lhes conteúdo que eles não descobririam de outra forma. As maiores plataformas de mídia e entretenimento, como YouTube, Netflix e Spotify, dependem fortemente de recomendações personalizadas geradas por IA para atrair e reter novos usuários.
• Mídia social: o setor de mídia social também está aproveitando as possibilidades de fornecer sugestões personalizadas. Ajudando os usuários a descobrir páginas e contas semelhantes, as plataformas de mídia social incentivam seus usuários a passar mais tempo interagindo com o conteúdo, o que gera taxas de cliques e aumenta as receitas.
• Bancos e finanças: os sistemas de recomendação baseados em IA permitem que os bancos analisem as transações dos usuários e façam upsell para aumentar as receitas. Por exemplo, quando um usuário compra uma passagem aérea no valor de $ 500, o mecanismo de recomendação assume automaticamente que ele está voando para o exterior e sugere que compre um pacote de seguro de viagem.

Opções de implementação para escolher

Ao embarcar na jornada de construção de um mecanismo de recomendação, você encontrará várias opções de implementação com suas próprias vantagens e considerações, a saber:

Mecanismos de recomendação plug-and-play

Os mecanismos de recomendação plug-and-play oferecem uma maneira conveniente e descomplicada de incorporar recomendações personalizadas em seu produto ou plataforma. Eles vêm pré-construídos e são projetados para se integrarem perfeitamente à sua infraestrutura existente.

A principal vantagem dos mecanismos de recomendação plug-and-play reside em sua simplicidade e facilidade de uso. Eles são normalmente projetados para serem fáceis de usar, permitindo que até mesmo o público não técnico os configure com o mínimo de esforço. Exemplos de mecanismos de recomendação plug-and-play abrangem plataformas como Recombee, Seldon e LiftIgniter.

Os mecanismos de recomendação plug-and-play negativos vêm com personalização e adaptabilidade limitadas. Embora ofereçam conveniência e velocidade, eles podem não fornecer o nível de flexibilidade e ajuste fino que as soluções personalizadas oferecem.

Serviços de recomendação baseados em nuvem pré-treinados

Os mecanismos de recomendação baseados em nuvem permitem aproveitar os vastos recursos computacionais e a experiência dos provedores de serviços em nuvem. Esses serviços de recomendação normalmente fornecem APIs fáceis de usar que permitem aos desenvolvedores integrar facilmente a funcionalidade de recomendação em seus aplicativos.

Os mecanismos de recomendação baseados em nuvem também são altamente escaláveis, o que permite lidar com grandes bases de usuários e altas cargas de tráfego. Outra vantagem é a melhoria contínua, pois os modelos subjacentes são atualizados e refinados pelos provedores de serviços.

Os principais fornecedores de serviços em nuvem, como Amazon Web Services, Google Cloud Platform e Microsoft Azure, oferecem serviços de recomendação pré-treinados.

Os fatores a serem considerados ao optar por serviços de recomendação baseados em nuvem pré-treinados abrangem privacidade de dados, bloqueio de fornecedor e requisitos de personalização. Embora esses serviços ofereçam conveniência e escalabilidade, eles podem ter limitações em termos de personalização dos algoritmos de recomendação para atender às suas necessidades comerciais específicas.

Mecanismos de recomendação personalizados

Os mecanismos de recomendação personalizados oferecem o mais alto grau de flexibilidade e controle, permitindo que você incorpore algoritmos proprietários, aproveite o conhecimento específico do domínio e considere as nuances de seus dados. Seguir o caminho personalizado permite capturar as complexidades das preferências do usuário, características do item e fatores contextuais, geralmente resultando em recomendações mais precisas e relevantes.

No entanto, embora os mecanismos de recomendação personalizados ofereçam mais flexibilidade, eles também exigem recursos de desenvolvimento substanciais, experiência em aprendizado de máquina e esforços de manutenção contínuos. Portanto, antes de criar um mecanismo de recomendação personalizado, avalie cuidadosamente suas necessidades de negócios, recursos disponíveis e objetivos de longo prazo.

A regra geral é seguir a rota personalizada nos seguintes cenários:

• Você tem necessidades de negócios exclusivas: se sua empresa tiver requisitos exclusivos que não podem ser atendidos com soluções prontas para uso, vá personalizado. Isso permitirá que você adapte o algoritmo à sua tarefa específica. Digamos que você seja uma plataforma de comércio eletrônico de nicho que vende produtos artesanais. Você pode ter requisitos distintos quando se trata de sugerir produtos: o mecanismo de recomendação deve considerar fatores como raridade do produto, habilidade e preferências do usuário para estilos ou materiais específicos. Construir um mecanismo de recomendação do zero provavelmente permitirá que você gere recomendações alinhadas com as preferências dos usuários.
• Você deseja controle e propriedade totais: a criação de um mecanismo de recomendação personalizado oferece controle total sobre todo o processo de geração de recomendações: desde o pré-processamento de dados até a seleção do algoritmo e o ajuste fino. Ele permite que você obtenha propriedade total do sistema e o adapte à medida que sua empresa evolui, sem depender de soluções de terceiros.
• Você possui conhecimento específico do domínio: se você possui conhecimento específico do domínio ou acesso a dados especializados que podem aumentar significativamente a precisão das recomendações, a criação de uma solução personalizada permite que você aproveite esse conhecimento com eficiência. Ao desenvolver um mecanismo de recomendação personalizado, você pode incorporar recursos ou restrições específicos do domínio que podem não estar disponíveis em soluções pré-treinadas.
• Seu aplicativo requer alta escalabilidade e desempenho: se você prevê um grande volume de usuários ou itens, tem restrições de latência rígidas ou precisa processar conjuntos de dados grandes e complexos, criar um mecanismo de recomendação personalizado oferece a flexibilidade de projetar e otimizar o sistema para o máximo escalabilidade e desempenho. O mesmo se aplica se você deseja gerar recomendações em tempo real ou quase em tempo real.
• Você deseja obter uma vantagem competitiva: se recomendações precisas são um fator de diferenciação essencial para seu produto ou serviço, criar um mecanismo de recomendação personalizado pode oferecer uma vantagem competitiva. Investir em uma solução sob medida, nesse caso, pode proporcionar a oportunidade de entregar experiências únicas e personalizadas, potencializando o engajamento, a fidelização e a satisfação do cliente.

Construindo um mecanismo de recomendação personalizado, passo a passo

Fornecer recomendações personalizadas é uma tarefa normalmente resolvida com aprendizado de máquina. As redes neurais também podem ser usadas, no entanto, sua função é limitada principalmente ao pré-processamento de dados de treinamento. Aqui estão as principais etapas no processo de criação de um mecanismo de recomendação compartilhado pelos desenvolvedores de aprendizado de máquina da ITRex.

Etapa 1. Definindo a direção

Inicie o desenvolvimento definindo a direção para o restante do projeto. As coisas essenciais a fazer nesta fase incluem:

Definir metas e definir o escopo do projeto

Descreva claramente o que você pretende alcançar com um sistema de recomendação e pondere a meta definida em relação às limitações de recursos e orçamento. Por exemplo, se você deseja melhorar o engajamento do cliente e aumentar as vendas em sua loja virtual, pode manter o escopo do projeto limitado a recomendar produtos para clientes que já fizeram uma compra. Manter o escopo bastante restrito exige menos esforço do que criar um mecanismo de recomendação que vise todos os clientes, enquanto o potencial de geração de ROI permanece bastante alto.

Avaliando as fontes de dados disponíveis

O desempenho de um sistema de recomendação depende muito dos volumes e da qualidade dos dados de treinamento. Antes de se aventurar no treinamento, avalie cuidadosamente se você tem pontos de dados suficientes para gerar recomendações.

Definindo métricas de desempenho

Um dos principais desafios da construção de um mecanismo de recomendação que deve ser considerado desde o início é a definição de métricas de sucesso. Descubra uma maneira de saber se os usuários realmente gostam das recomendações recém-geradas antes de começar a treinar algoritmos de ML.

Etapa 2. Reunir dados de treinamento

A próxima etapa no processo de criação de um sistema de recomendação personalizado é coletar e preparar dados para treinar algoritmos de aprendizado de máquina. Para construir um sistema de recomendação confiável, você precisa de dados suficientes sobre as preferências do usuário.

Dependendo da abordagem para construir um mecanismo de recomendação, seu foco mudará. Ao criar um sistema de filtragem colaborativa, os dados coletados são centrados no comportamento do usuário. Com sistemas de filtragem baseados em conteúdo, você se concentra nos recursos do conteúdo que os usuários gostam.

Filtragem colaborativa

Os dados sobre o comportamento do usuário podem vir de diferentes formas:

• O feedback explícito do usuário é qualquer coisa que exija um esforço do usuário, como escrever uma crítica, gostar de um conteúdo ou produto, reclamar ou iniciar uma devolução.
• Feedback implícito do usuário, como histórico de compras anteriores, o tempo que um usuário gasta olhando para uma determinada oferta, hábitos de visualização/audição, feedback deixado nas mídias sociais e muito mais.

Ao construir um mecanismo de recomendação, aconselhamos combinar feedback explícito e implícito, pois o último permite explorar as preferências do usuário que eles podem relutar em admitir, tornando o sistema mais preciso.

Filtragem baseada em conteúdo

Ao coletar dados para sistemas de filtragem baseados em conteúdo, é crucial entender em quais recursos de produto/conteúdo você deve confiar ao pesquisar o que os usuários gostam.

Suponha que você esteja construindo um mecanismo de recomendação para amantes de música. Você pode confiar na análise do espectrograma para entender que tipo de música um determinado usuário gosta e recomendar músicas com espectrogramas semelhantes.

Alternativamente, você pode escolher letras de músicas como base para suas recomendações e aconselhar músicas que tratam de temas semelhantes.

A chave é testar e ajustar para entender o que funciona melhor para você e estar pronto para melhorar continuamente o modelo inicial.

Passo 3. Limpe e processe os dados

Para construir um mecanismo de recomendação de alto desempenho, você deve levar em consideração as mudanças nos gostos do usuário. Dependendo do que você recomenda, avaliações ou classificações mais antigas podem não ser mais relevantes.

Para evitar imprecisões, considere apenas observar os recursos com maior probabilidade de representar os gostos atuais do usuário, removendo dados que não são mais relevantes e adicionando mais peso às ações recentes do usuário em oposição às mais antigas.

Etapa 4. Escolha um algoritmo ideal

A próxima etapa no processo de criação de um mecanismo de recomendação é escolher um algoritmo de aprendizado de máquina apropriado para sua tarefa. Os cientistas de dados da ITRex recomendam considerar os seguintes:

• Matrix Factorization divide um grande conjunto de dados em partes menores para descobrir padrões ocultos e semelhanças entre usuários e itens.
• A fatoração de tensor é uma extensão da fatoração de matriz que pode lidar com estruturas de dados de dimensão superior chamadas tensores. Ele captura padrões mais complexos decompondo tensores em fatores latentes, fornecendo uma compreensão mais detalhada das interações usuário-item.
• As máquinas de fatoração são modelos poderosos que podem lidar com dados esparsos e de alta dimensão. Eles capturam interações entre recursos e podem ser aplicados a tarefas de recomendação. Ao considerar as interações de recursos, eles podem fornecer recomendações precisas mesmo quando os dados estão incompletos.
• Os modelos de vizinhança encontram semelhanças entre usuários ou itens com base em atributos ou comportamento. Particularmente eficazes para filtragem colaborativa, eles constroem conexões entre usuários ou itens em uma rede e fazem recomendações com base nas preferências de usuários ou itens semelhantes.
• Random Walk é um algoritmo baseado em grafos que explora conexões entre itens ou usuários em uma rede. Ao navegar na rede, ele captura semelhanças entre itens ou usuários, fazendo recomendações com base nas conexões capturadas.
• SLIM é uma técnica utilizada em sistemas de recomendação para entender como os itens estão relacionados entre si. Ele se concentra em encontrar padrões nas relações entre os itens e usa esses padrões para fazer recomendações.
• Os modelos lineares prevêem as preferências de item do usuário com base em relacionamentos lineares entre recursos. Embora sejam fáceis de entender e rápidos de treinar, eles podem não capturar padrões complexos de forma tão eficaz quanto outras abordagens.

Além disso, você pode escolher entre os seguintes modelos de aprendizado profundo:

• DSSMs (Deep Structured Semantic Models) aprendem representações de texto ou documentos. Eles se concentram em capturar o significado semântico das palavras e seus relacionamentos dentro de uma estrutura estruturada.
• Graph Convolutional Networks são projetados para dados estruturados em grafos. Eles operam em grafos, capturando relacionamentos e interações entre os nós do grafo.
• Variational Auto-Encoder é um modelo generativo que aprende representações de dados capturando seu espaço latente subjacente. Esses modelos usam uma arquitetura de codificador-decodificador para compactar dados em um espaço de dimensão inferior e reconstruí-lo.
• Transformer é um modelo que usa mecanismos de auto-atenção para capturar relações contextuais entre palavras em uma frase ou documento.

O que é importante observar é que os métodos acima raramente são usados ​​isoladamente. Em vez disso, eles são combinados por meio das seguintes técnicas e algoritmos:

• A combinação envolve o treinamento de vários modelos independentemente e, em seguida, a combinação de suas previsões por meio de várias técnicas. Cada modelo contribui igualmente para a previsão final, e a combinação geralmente é direta e não envolve o treinamento de modelos adicionais.
• O empilhamento tem uma abordagem mais avançada. Envolve o treinamento de vários modelos, chamados de modelos básicos, e a combinação de suas previsões por meio de um metamodelo. Os modelos básicos fazem previsões com base nos dados de entrada e suas previsões se tornam os recursos de entrada para o metamodelo. O metamodelo é então treinado para fazer a previsão final.
• O AdaBoost é um algoritmo de aprendizado conjunto que melhora a precisão dos modelos básicos, treinando-os iterativamente em diferentes subconjuntos de dados. A abordagem se concentra nas instâncias difíceis de classificar corretamente e dá a elas mais atenção nas iterações de treinamento subsequentes. Em cada iteração, o AdaBoost atribui pesos às instâncias de treinamento com base em sua precisão de classificação. Em seguida, ele treina modelos com desempenho insatisfatório nos dados ponderados, onde os pesos enfatizam as instâncias mal classificadas de iterações anteriores.
• XGBoost é um método de conjunto que combina modelos de predição fracos iterativamente para criar um modelo mais forte. Treina os modelos de forma sequencial, onde cada modelo subseqüente corrige os erros cometidos pelo anterior.

Etapa 4. Treinar e validar o modelo

Depois de definir um algoritmo para seu mecanismo de recomendação, é hora de treinar e validar o modelo. Veja como esta etapa no processo de construção de um mecanismo de recomendação se parece:

Para começar, você precisa dividir seus dados em dois conjuntos: um conjunto de treinamento e um conjunto de teste. O conjunto de treinamento, como o nome sugere, ensina seu modelo a reconhecer padrões nas preferências do usuário. O conjunto de teste ajuda a avaliar o desempenho do modelo em novos dados.

Com o conjunto de treinamento em mãos, comece a treinar seu modelo. Isso envolve expor o algoritmo aos dados, permitindo que ele aprenda os padrões e relacionamentos subjacentes.

Após a fase de treinamento, é hora de avaliar o desempenho do modelo usando o conjunto de teste. Isso ajudará você a entender com que eficácia o modelo generaliza para novos dados.

Como alternativa, você pode contar com feedback em tempo real para entender o desempenho do modelo. Dessa forma, você implanta o modelo em produção e mapeia as recomendações geradas para o feedback do usuário. Em seguida, você passa para a próxima etapa, onde define o modelo para ajustar seus parâmetros por meio de um processo de aprendizado iterativo.

Etapa 5. Ajustar os hiperparâmetros do modelo

Depois de avaliar o desempenho do modelo, você pode ajustá-lo conforme necessário. Vamos considerar um exemplo de um sistema de recomendação construído sobre um algoritmo de filtragem colaborativa.

Na filtragem colaborativa, o número de vizinhos determina quantos usuários ou itens semelhantes são considerados ao fazer recomendações. Suponha que você esteja construindo um mecanismo de recomendação que depende de filtragem colaborativa e sugere novos filmes. Inicialmente, você define o número de vizinhos como 10, o que significa que o modelo considera as preferências dos 10 usuários mais semelhantes ao gerar recomendações.

Após avaliar o desempenho do modelo, você descobre que a precisão das recomendações é inferior à desejada. Para melhorar isso, você decide ajustar o modelo ajustando o número de vizinhos.

Para explorar o impacto de diferentes tamanhos de vizinhos, você pode executar experimentos com valores de intervalo. Por exemplo, reduzir o número de vizinhos para 5 pode levar a um aumento significativo na precisão. No entanto, você pode notar uma ligeira diminuição no recall, indicando que o modelo está perdendo algumas recomendações relevantes. Aumentar o número 20, por sua vez, pode levar a uma ligeira melhora na recordação, mas as sugestões podem se tornar menos personalizadas.

A chave é estabelecer um compromisso entre precisão e recall e encontrar um equilíbrio entre a captura de diversas preferências do usuário e a manutenção de recomendações precisas.

Etapa 6. Implementar, monitorar e atualizar o modelo

Com o modelo preparado e pronto para rolar, é hora de implementá-lo.

Para garantir uma implementação bem-sucedida, considere a maneira mais eficaz de incorporar o modelo à sua infraestrutura existente. Por exemplo, você pode incorporar o modelo no back-end do seu site, garantindo que ele interaja perfeitamente com a interface do usuário. Essa integração permite recomendações em tempo real que se adaptam dinamicamente às preferências dos usuários.

Como alternativa, você pode implantar o modelo como um serviço, como uma API de mecanismo de recomendação, que outros componentes de seu aplicativo podem chamar facilmente. Essa abordagem orientada a serviços garante flexibilidade e escalabilidade, permitindo que seu aplicativo aproveite os recursos do mecanismo de recomendação sem esforço.

A fase de implementação também é um bom momento para considerar como as recomendações serão apresentadas aos usuários. Eles serão exibidos como sugestões personalizadas na página inicial de um site, categorizados de maneira organizada em uma interface intuitiva? Ou eles serão perfeitamente integrados à interface do aplicativo, surgindo no momento certo para surpreender os usuários? A escolha é sua, mas sempre mantenha a experiência do usuário em primeiro plano.

Finalmente, é crucial testar rigorosamente o modelo implementado para garantir sua perfeita funcionalidade. Execute testes abrangentes para validar seu desempenho e comportamento em várias interações do usuário, para garantir que as recomendações sejam precisas, oportunas e alinhadas com as expectativas do usuário.

Os desafios de construir um mecanismo de recomendação e como resolvê-los

Compreender os desafios de construir um mecanismo de recomendação é crucial para fornecer recomendações personalizadas e relevantes. Aqui está um resumo dos mais comuns:

Desafio 1. Medindo o sucesso

Um dos principais desafios da construção de um mecanismo de recomendação que deve ser considerado desde o início é a definição de métricas de sucesso. Em outras palavras, antes de começar a coletar dados e treinar algoritmos de ML, você deve descobrir uma maneira confiável de saber se os usuários realmente gostam das recomendações recém-geradas. Isso guiará seu processo de desenvolvimento.

Digamos que você seja uma plataforma de streaming. Você pode contar o número de curtidas ou assinaturas pagas mensalmente para medir o desempenho do seu mecanismo de recomendação. No entanto, é provável que suas recomendações sejam boas, enquanto os usuários relutam em declarar explicitamente suas preferências ou pagar pelo serviço.

A experiência de nossos cientistas de dados mostra que o comportamento do usuário é uma maneira mais confiável de medir o desempenho do sistema de recomendação. Não duvidaríamos que um usuário gostou de um programa se o assistisse em uma noite, mesmo sem nenhum feedback explícito.

Desafio 2. A maldição da dimensionalidade

Dimensionalidade de dados refere-se ao número de recursos em um conjunto de dados. Mais recursos de entrada geralmente tornam mais desafiador criar um mecanismo de recomendação preciso. Vamos pegar o YouTube como exemplo. Na plataforma, coexistem bilhões de vídeos e usuários, e cada usuário busca recomendações personalizadas. No entanto, os recursos humanos e computacionais são limitados e dificilmente alguém quer passar horas esperando que as recomendações carreguem.

Para enfrentar esse desafio, uma etapa adicional, a geração de candidatos, é necessária antes de lançar o algoritmo de recomendação. Esta etapa permite reduzir bilhões de vídeos para, digamos, dezenas de milhares. E esse grupo menor é usado para gerar recomendações.

Várias estratégias, sendo a busca do vizinho mais próximo a mais proeminente, são usadas para a geração de candidatos. Outras práticas comuns para superar a questão da dimensionalidade incluem explorar categorias populares ou preferências compartilhadas entre pessoas de faixas etárias semelhantes.

Desafio 3. A partida a frio

Outro problema comum no processo de construção de um mecanismo de recomendação, o enigma da inicialização a frio surge quando o sistema não possui informações suficientes sobre um usuário ou um item, dificultando o fornecimento de recomendações precisas. Superar esse obstáculo envolve o emprego de métodos como filtragem colaborativa, filtragem baseada em conteúdo ou abordagens híbridas.

Desafio 4. A cauda longa

Os sistemas de recomendação podem sofrer de um fenômeno conhecido como “cauda longa”. Isso significa que itens populares recebem mais atenção e recomendações, enquanto os menos populares permanecem despercebidos pelos usuários. Resolver esse problema requer a geração de recomendações personalizadas e a consideração das preferências individuais do usuário.

Desafio 5. A partida a frio para novos itens

Quando um novo item é adicionado ao sistema, ele possui pouco ou nenhum dado histórico para geração de recomendações, dificultando a criação de sugestões relevantes. Uma abordagem para resolver esse problema é usar filtros de conteúdo e envolver ativamente os usuários para interagir com novos itens por meio de promoções ou anúncios.

Desafio 6. A partida a frio para novos usuários

Da mesma forma, novos usuários podem não ter dados históricos suficientes para recomendações precisas. Para superar esse desafio, métodos como filtragem baseada em conteúdo, solicitações de feedback e pesquisas iniciais com usuários podem ser empregados.

Desafio 7. Esparsidade de dados

Em sistemas de recomendação, a escassez de dados é uma ocorrência comum em que muitos usuários classificam ou interagem com um pequeno número de itens. Isso representa um desafio na previsão das preferências do usuário. Para resolver esse problema, métodos de fatoração de matrizes que incorporam redução de dimensionalidade, regularização e outras técnicas podem ser usados.

Resumindo

Construir um mecanismo de recomendação é uma jornada alimentada por algoritmos, percepções do usuário e refinamento iterativo. Desde a definição do problema até a seleção da abordagem correta, passando pelo pré-processamento meticuloso dos dados até o treinamento do modelo, cada etapa contribui para a criação de um poderoso sistema de recomendação.

A capacidade de um mecanismo de recomendação de entender as preferências do usuário e fornecer recomendações personalizadas pode ter um imenso potencial para o seu negócio. Amazon, YouTube, Spotify e muitos outros negócios menos conhecidos, mas não menos bem-sucedidos, revolucionaram seus produtos e, posteriormente, aumentaram as receitas com recomendações personalizadas.

Por exemplo, o Spotify, uma plataforma de streaming de música que conta com recomendações altamente personalizadas como o principal fator de diferenciação, continua a aumentar sua base de usuários e receitas a cada ano. Apenas no quarto trimestre de 2022, a promessa de descobrir uma nova música favorita trouxe à plataforma 20% mais usuários ativos mensais, resultando em 33 milhões de adições líquidas.

Se você ainda está atrasado, é hora de aproveitar o poder da IA ​​e revolucionar a experiência do usuário com um mecanismo de recomendação personalizado.

Procurando aprimorar sua solução com um poderoso mecanismo de recomendação? Fale com os consultores ITRex.

Originalmente publicado em https://itrexgroup.com em 6 de junho de 2023.