Sistemas de recomendações e neo4J na cloud computing

50 %
50 %
Information about Sistemas de recomendações e neo4J na cloud computing
Technology

Published on February 25, 2014

Author: MayogaX

Source: slideshare.net

Description

Você conhece o Github? Seria bacana um sistema de sugestões de repositórios? Sabe fazer isso?

Veja como funciona a teoria dos sistemas de recomendações e como usar noSQL, especificamente sistemas de grafos, para criar recomendações.

Depois suba seu banco Neo4J na Cloud Computing

Sistemas de recomendações e Neo4J na nuvem Priscila Mayumi Sato @mayogax http://dev.mayogax.me

Agenda • Projeto de exemplo • Sistema de recomendações • Banco de dados de grafos • Como subir uma base de grafos na nuvem • Acessando REST API

Projeto de exemplo ♪”Hoje à noite eu tive apenas um leve sonho (...)à luz do luar.”♪ - Shinku Crimson Red (Kurushitsuji)

Github (again) • Github pode ser usado como repositório de código, rede social e um ótimo lugar para aprender código. Informações do meu perfil. Sigam.

GitHub (again) • No GitHub temos repositórios, cada um pode ser um projeto (ou mais??). Públicos Privados

GitHub (again) • Algumas pessoas são escavadoras de repositórios e ficam lendo, comentando, discutindo e submetendo alterações nos códigos dos outros. • Uma forma divertida de rede social <3

GitHub (again) Alexandre, como você acha repositórios legais? Eu sigo pessoas e vou vasculhando o que elas seguem ou contribuem. Seria legal ter uma forma fácil de encontrar repositórios, né? Acho que vou fazer uma. Se você fizer mostra pro pessoal, será de grande ajuda.

GitHub (again) • Como fazer um sistema de recomendações??

Sistema de recomendações ♪”Novamente iniciará a legendária batalha final. Vou usar a Armadura Sagrada!♪” - Megami no Senshi (Saint Seiya)

Recomendações • Muitas empresas fornecem serviços ou produtos e fornecem a seus usuários recomendações de produtos ou serviços. • Não é mais uma vantagem e sim um serviço básico um ecommerce fornecer recomendações de produtos. • Existem serviços que se especializam em recomendações. Vantagem competitiva: recomendações de produtos Principal serviço: recomendações de músicas

Tipos de sistemas de recomendações: • Baseado em Conteúdo • Busca itens parecidos para sugerir • Diferentes formas de se classificar o conteúdo: • Algoritmos de análise de conteúdos parecidos • Informações classificatórias em tags • Menos informação • Filtragem Colaborativa • Baseia-se em sugerir itens que pessoas também gostaram • Forma de se classificar o conteúdo: • “Se um usuário gostou de A e de B, um outro usuário que gostou de A também pode gostar de B” [Renata Ghisloti] • Muita informação

Algoritmos • Baseado em conteúdo: • Necessário: classificar conteúdos parecidos • Opção manual: humano coloca tags nos itens • Algoritmos classificam conteúdos • Exemplos: algoritmo dos Vizinhos Mais Próximos, Content Matching, Content-plusLink • Baseado em colaboração: • Necessário: classificar itens, usuários e relações • Opção prática: selecionar itens que pessoas próximas se relacionaram da mesma forma (ex: filmes que meus amigos curtiram) • Algoritmos buscam relações entre itens e usuários • Exemplos: Slope One, Friend-of-Friend, SONAR

GitHub (again) • Existem alguns meios de se achar repositórios interessantes no GitHub: • GitHub Trending https://github.com/trending

GitHub (again) • Baseado em algoritmos de colaboração encontrar repositórios que eu gostaria de ver baseado nos repositórios que meus amigos seguem. • Se muitos amigos meus seguirem (watch) um repositório X ele pode ser legal para mim. • No caso de empate mostrar primeiro o repositório que contém uma tag que eu goste • Entre um repositório que usa Java e um que usa C# qual eu vou ver primeiro? • No futuro: dar mais pontos pros repositórios de amigos “famosos” • Se o Alexandre tem um repositório X esse pode ser mais interessante que o repositório Y que um Fulano tem

GitHub (again) • Como pegar repositórios que muitos amigos derem watch? • Como modelar em uma base relacional a minha estrutura? Watch Repositório Possui Usuário Segue

Bancos de dados de grafos ♪”Vamos estender as mãos e tentar agarrar o infinito céu estrelado”♪ - 8 Sense (Saint Seiya)

Banco de dados de Grafos • Tipo de banco de dados noSQL • Baseado na teoria de grafos • Index-free • Nossas entidades são os vertices (nos) • O relacionamento são as arestas • Os relacionamentos são tão importantes quanto entidades • Relacionamentos podem possuir dados

Banco de dados de Grafos Watch R Nó Repositório R Possui Nó Usuário R Segue

Quando usar grafos? • Quando os relacionamentos forem mais importantes que os dados. • Quando houverem muitos relacionamentos e caminhos até os relacionamentos. • A propósta não é que você use graph databases a todo momento, mas em certas ocasiões em que há alto indice de dados conectados

Comparação

Por que usar grafos? • “It is normal to reach read-performance of 2000 relationship traversals per millisecond (about 1-2 million traversal steps per second) fully transactional, with warm caches, per thread. With shortest-path-calculations, Neo4j is even on small graphs of a couple of 1000 of nodes 1000 times faster than MySQL, the difference increasing as the size of the graph increases.” • http://www.infoq.com/articles/graph-nosql-neo4j • Motivos: • Algoritmos mais otimizados para buscas transversais • Não precisa de Joins • Lazy fashion (retorna dados somente do nó encontrado)

Banco de dados de Grafos • API para diversas linguagens (ou não) • API RESTful (maioria dos casos) • Dialeto de query própria • ORM! (raro)

Neo4J • “Neo4j is a highly scalable, robust (fully ACID) native graph database. Neo4j is used in mission-critical apps by thousands of leading startups, enterprises, and governments around the world.” • http://www.neo4j.org/

Como subir uma base de grafos na nuvem ♪” abro minhas asas o imenso céu vou alcançar acreditar...”♪ - Never (Saint Seiya)

Por que usar a nuvem? • Redução do investimento inicial de capital em servidores • Fácil deploy e manutenção • Facilmente escalável

Opções • Subir uma instancia manualmente • Subir uma instancia automaticamente com puppet • Usar um serviço já existente.

Usar um serviço já existente. • GRapheneDB • http://www.graphenedb.com/ • Serviço rodado por cima da Amazon • 512MB gratuitos • Suporte a REST API e Gremlin

Subir uma instancia manualmente • Ir no seu serviço de Cloud favorito • Criar uma instancia • Habilitar firewall para ser acessado de fora • Instalar o Neo4J • Subir instancia

Subir uma instancia manualmente

Subir uma instancia automaticamente com puppet • Disponível para Amazon Web Services • Passos: • Necessário criar uma conta (caso você não tenha) • Vá ao painel de CloudInformation e crie um Stack com o nome que você quiser • Selecione a opção de usar uma url com o template • https://cf-templates.neo4j.org.s3.amazonaws.com/cf_template.json • Escolha uma senha e usuário para o Neo4J • Adicione uma keyValue tag • Next Next Next Finish

Subir uma instancia automaticamente com puppet

Subir uma instancia automaticamente com puppet

Subir uma instancia automaticamente com puppet

Subir uma instancia automaticamente com puppet

Subir uma instancia automaticamente com puppet

Subir uma instancia automaticamente com puppet

Bonus: subindo no Azure • Crie uma conta no Windows Azure • Instale o Azure SDK no Visual Studio • Baixe a solução pronta do Neo4J.Azure.Server • Configure o Java no Azure • Deploy da solução que você baixou do Neo4J no Azure

Bonus: subindo no Azure • Passo a passo (em inglês): • Part 1. Create Azure Account and Prepare Azure for Neo4j Deployment • Part 2. Download the Azure SDK and Configure Azure in Visual Studio Server Explorer • Part 3. Download and Configure the Neo4j.Azure.Server Solution • Part 4. Upload Java and Neo4j to Azure • Part 5. Deploy Neo4j to Azure

Bonus: subindo no Azure • Da forma tradicional: • • • • • Inicie uma instancia Instale/Configure o Java Instale o Neo4J Server Inicie o Server Configure o Firewall da sua instancia para aceitar acesso remoto (selecione um IP de onde ficará sua aplicação).

Acessando REST API ♪”” -

API REST • Depois disso você vai receber um endpoint com o ip do banco (if tudo deu certo) • A partir daqui você pode usar esse endpoint para conversar com o banco • No caso do Neo4J, como muitos, há uma interface REST

API REST • Criando um nó: • Método POST • http://ENDPOINT/db/data/node {“repositorio":”GitHubAgain"} • Lendo um nó • Método GET • http://ENDPOINT/db/data/node/666 • Deletando um nó • Método Delete • http://ENDPOINT/db/data/node/666 • *Um nó com relacionamento não pode ser deletado

API REST • Adicionando propriedades a um nó: • Método PUT • http://lENDPOINT/db/data/node/666/properties/tag/ CSharp • Modificando uma propriedade • Método PUT • http://ENDPOINT/db/data/node/666/properties/tag/ Java • Deletando uma propriedade • Método Delete • http://ENDPOINT/db/data/node/666/properties/tag • Troque o “Endpoint” pelo ip do seu banco

API REST • Atravessando um nó: • Método POST • http://lENDPOINT/db/data/node/3/traverse/node • Atravessando relacionamentos: • Método POST • http://ENDPOINT/db/data/node/3/traverse/relationship • Atravessando caminhos: • Método POST • http://ENDPOINT/db/data/node/3/traverse/path • Deletando um relacionamento: • Método Delete

API REST • Atravessando um nó: • Método POST • http://lENDPOINT/db/data/node/3/traverse/node • Atravessando relacionamentos: • Método POST • http://ENDPOINT/db/data/node/3/traverse/relationship • Descobrindo tipos de relacionamentos: • Método GET • http://ENDPOINT/db/data/relationship/types • Troque o “Endpoint” pelo ip do seu banco

Dúvidas? Dúvidas, refutações, criticas, sugestões, convites para jogar RPG?

Obrigada http://dev.mayogax.me @MayogaX

Add a comment

Related presentations

Related pages

Sistemas de recomendações e neo4J na cloud computing ...

Search; Home; Technology; Sistemas de recomendações e neo4J na cloud computing
Read more

Como funcionam sistemas de recomendação e subindo Neo4J na ...

Neo4J na Cloud Computing, porém, para justificar o uso do Neo4J eu falei sobre sistemas de recomendações que eu pretendo usar num projeto.
Read more

Microsoft Azure Archives

Cloud Computing + Microsoft Azure ... Neo4J na Cloud Computing, ... para justificar o uso do Neo4J eu falei sobre sistemas de recomendações que eu ...
Read more

Cloud Computing e os Sistemas Empresariais Móveis.

Cloud Computing e os Sistemas Empresariais Móveis. ... on Apr 07, 2016. Report Category: Documents
Read more

IBM – Cloud Computing – Brasil

Cloud computing é um modelo emergente onde os usuários podem ... e fornece recomendações para melhorar sua postura integral de segurança na ...
Read more