advertisement

Architectures lambda - Techdays camps 2015

45 %
55 %
advertisement
Information about Architectures lambda - Techdays camps 2015

Published on December 1, 2015

Author: GeorgesDamien

Source: slideshare.net

advertisement

1. AMBIENT INTELLIGENCE #mstechdays techdays.microsoft.fr tech days• 2015camps

2. Architectures Lambda Michel Hubert / Georges Damien @michelhubert @georges_damien

3. tech.days 2015#mstechdaysArchitecture Lambda Directeur Technique chez Cellenza MVP Azure Microsoft P-Seller

4. tech.days 2015#mstechdaysArchitecture Lambda Consultant chez Cellenza

5. tech.days 2015#mstechdaysArchitecture Lambda  Architectures Lambda

6. tech.days 2015#mstechdaysArchitecture Lambda « La meilleure façon de prédire le futur est de regarder le passé et le présent ! » Pourquoi les architectures lambda ?

7. tech.days 2015#mstechdaysArchitecture Lambda Historiquement, le BigData est une suite logique de la B.I. Donc on a appliqué les techniques de la B.I. : Le Batch Ce n’est pas plus suffisant ! Des flux de données à prendre en compte en temps-réel Des historiques très volumineux qui recèlent de la valeur Pourquoi les architectures lambda ?

8. tech.days 2015#mstechdaysArchitecture Lambda Architecture lambda ?

9. tech.days 2015#mstechdaysArchitecture Lambda La base de données classique : Architecture basée sur des données immuables UPDATE

10. tech.days 2015#mstechdaysArchitecture Lambda Stockage immuable : Architecture basée sur des données immuables

11. tech.days 2015#mstechdaysArchitecture Lambda Quels cas d’usage ?

12. tech.days 2015#mstechdaysArchitecture Lambda

13. tech.days 2015#mstechdaysArchitecture Lambda Prenons un scénario Exemple : • Analyse temps réel des comportements, • Calcul du Taux d’abandon de panier, • Prévision de stock • Détection de Fraude • Analyse d’une campagne marketing • Quels produits ne déclenchent pas d’achat ? Problème de stock ? De prix ? Architecture Lambda

14. tech.days 2015#mstechdaysArchitecture Lambda La Master Data

15. tech.days 2015#mstechdaysArchitecture Lambda Azure Service Bus Relay Queue Topic Notification Hub Event Hub NAT and Firewall Traversal Service Request/Response Services Unbuffered with TCP Throttling Many publishers and many consumers to communicate over a FIFO like channel. (Competing consumers and Queue-based Load leveling scenarios) Pub / Sub communication channel. Each Consumer subscribes to a copy of message High-scale notification distribution Most mobile push notification services Millions of notification targets

16. tech.days 2015#mstechdaysArchitecture Lambda  Event Hub vs Topics / Queues Bus de messages Topics / Queues Event Hub

17. tech.days 2015#mstechdaysArchitecture Lambda Principe général Event Producers Azure Event Hub > 1M Producers > 1GB/sec Aggregate Throughput Up to 32 partitions via portal, more on request Partitions Direct PartitionKey Hash Consumer Group(s) Receivers AMQP 1.0 Credit-based flow control Client-side cursors Offset by Id or Timestamp

18. tech.days 2015#mstechdaysArchitecture Lambda Envoi des données Partition 1 Partition 2 Partition “n” Event 1 PartitionKey=A Event 1 PartitionKey=B

19. tech.days 2015#mstechdays Publication de message .Net / AMQP Architecture Lambda

20. tech.days 2015#mstechdays Publication de message via HTTP Architecture Lambda <protocol>://<namespace>.servicebus.windows.net/<eventhubname>/publisher/<partitionkey>/messages

21. tech.days 2015#mstechdaysArchitecture Lambda Consommation des données Partition 1 Partition 2 Partition “n” Event 1 Pkey = A Event 2 Pkey = B Receiver 6 Receiver 2 Worker “n” Receiver 1 Receiver “n” Worker 1

22. tech.days 2015#mstechdaysArchitecture Lambda Consommation multiple Partition 1 Partition 2 Partition “n” Consumer Group C Callback for prtn. 6 Callback for prtn. 2 Worker “n” Callback for prtn. 1 Callback “n” Worker 1Consumer Group B Callback for prtn. 6 Callback for prtn. 2 Worker “n” Callback for prtn. 1 Callback “n” Worker 1Consumer Group A Worker “n” Callback for prtn. 6 Callback for prtn. 2 Callback for prtn. 1 Callback “n” Worker 1

23. tech.days 2015#mstechdays IEventProcessor Architecture Lambda

24. tech.days 2015#mstechdays IEventProcessor Architecture Lambda

25. Architecture Lambda

26. tech.days 2015#mstechdaysArchitecture Lambda Données en mouvement « Complex Event Processing »

27. tech.days 2015#mstechdaysArchitecture Lambda Stream Analytics SELECT count(*) FROM ParkingLot WHERE type = 'Auto' AND color = 'Red' Question “Combien de voitures rouges dans le parking?” Répondre avec une base de donnée relationnelle Marcher jusqu’au parking Compter les véhicules qui sont: Rouge, Voiture

28. tech.days 2015#mstechdaysArchitecture Lambda Stream Analytics La question est différente “Combien de voitures rouges sont passées au marqueur 18A sur l’A-10 dans la dernière heure?” Répondre avec une base de donnée relationnelle S’arrêter, faire se garer toutes les voitures qui arrivent pendant l’heure dans un parking, les compter Pas la meilleure des solutions…

29. tech.days 2015#mstechdaysArchitecture Lambda SELECT count(*) FROM A-10 WHERE Type = ‘Voiture’ and Color = ‘Rouge’ GROUP BY TumblingWindow(hour, 1) La question est différente “Combien de voitures rouges sont passées au marqueur 18A sur l’A-10 dans la dernière heure?”

30. tech.days 2015#mstechdaysArchitecture Lambda TumblingWindow(minute,5) HoppingWindow(minute, 10 , 5) SlidingWindow(minute, 3)

31. tech.days 2015#mstechdays

32. tech.days 2015#mstechdaysArchitecture Lambda

33. Architecture Lambda

34. tech.days 2015#mstechdaysArchitecture Lambda Une usine à données

35. Last Name First Name Country Age … Flasko Mike Canada 32 Anand Subbaraj USA 30 Gaurav Malhotra USA 72 … …. …. …. Last Name First Name At risk of churning …. Flasko Mike Yes Anand Subbaraj No Gaurav Malhotra Yes … ….

36. Call Log Files Customer Table Call Log Files Customer Table Customer Churn Table Data Factory Concepts Data Sources Ingest Transform & Analyze Publish Customer Call Details Customers Likely to Churn

37. tech.days 2015#mstechdays A managed cloud service for building & operating data pipelines (aka. data flows) 1. Orchestrate, monitor & schedule • compose data processing, storage & movement services (on premises & cloud) 2. Automatic infrastructure mgmt • combine pipeline intent w/ resource allocation & mgmt • data movement as a service (global footprint & on premises) 3. Single pane of glass • one place to manage your network of data flows Architecture Lambda

38. tech.days 2015#mstechdaysArchitecture Lambda Etaes de mise en oeuvre

39. tech.days 2015#mstechdays Pipeline (Active Period: July 2015 to July 2016) Architecture Lambda

40. tech.days 2015#mstechdaysArchitecture Lambda Interfaces

41. tech.days 2015#mstechdaysArchitecture Lambda Les langages

42. tech.days 2015#mstechdaysArchitecture Lambda PowerShell - Déploiement

43. tech.days 2015#mstechdaysArchitecture Lambda

44. Architecture Lambda

45. tech.days 2015#mstechdaysArchitecture Lambda Pour aller plus loin…

46. tech.days 2015#mstechdaysArchitecture Lambda

47. tech.days 2015#mstechdaysArchitecture Lambda

48. tech.days 2015#mstechdaysArchitecture Lambda

49. tech.days 2015#mstechdaysArchitecture Lambda

50. tech.days 2015#mstechdaysArchitecture Lambda

51. tech.days 2015#mstechdaysArchitecture Lambda Machine Learning

52. tech.days 2015#mstechdaysArchitecture Lambda Machine Learning

53. tech.days 2015#mstechdaysArchitecture Lambda

54. Architecture Lambda

55. tech.days 2015#mstechdaysArchitecture Lambda michel.hubert@cellenza.com @michelhubert Georges.damien@Cellenza.com

56. © 2015 Microsoft Corporation. All rights reserved. #mstechdays techdays.microsoft.fr/camp tech days• 2015camps Architecture Lambda

#mstechdays presentations

Add a comment

Related pages

Cellenza aux Techdays Camps 2015 - Cellenza Blog

Cellenza aux Techdays Camps 2015. Georges Damien août 28, ... Michel Hubert et moi- même avons donc eu la chance de parler d’architecture Lambda. ...
Read more

Architectures Lambda - Docs.com

... Architectures Lambda, ... » Pourquoi les architectures lambda ? tech.days 2015 ... fr/camp techdays • 2015camps Architecture Lambda p tech ...
Read more

Parcours Data

Techdays Camp Parcours Data 27 août 2015. ... Big data et architecture Lambda: 12h30: Pause déjeuner: ... Mais les Techdays Camps reviennent 26 novembre.
Read more

Georges Damien - HubSlide

Architectures lambda - Techdays camps 2015 Architectures lambda - Microsoft Event hubs & Stream Analyt...
Read more

Techdays 2015 : les sessions du parcours “Data Insight ...

Cette session constitue l'introduction au parcours Data Insight des Techdays 2015. ... architecture Lambda, ... Project EPM IT Camp authentification ...
Read more

Parcours Data

Techdays Camp Parcours Data 15 octobre 2015. Parcours Data . ... Big data et architecture Lambda: 13h00: Pause déjeuner: 14h00: Cassandra dans Azure ...
Read more

Octobre 2015 : les événements autour des technologies ...

Techdays Camp IT Toulouse. ... Techdays Camp IT Nantes. Jeudi 8 octobre 2015 – 9h. ... Big data et architecture Lambda ;
Read more

Add TechDays Camp 26 novembre - GitHub

Add TechDays Camp 26 ... 26 novembre/Data/DataStax Cassandra Techdays Camp.pptx; ... TechDaysCamp 26 novembre/Data/Architectures Lambda.pptx
Read more