Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014

50 %
50 %
Information about Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014
Technology

Published on March 3, 2014

Author: NETWAYS

Source: slideshare.net

Description

Mit Logstash erhält man eine sehr gute Open Source Lösung, wenn es um das archivieren und sammeln von Logfiles geht. Nicht nur Syslog oder klassische Logfiles können abgegriffen werden, sondern auch das Windows Event-Log oder SNMP-Traps. Diese können anschließend in einem intuitiven Webinterface gefiltert und ausgewertet werden.

www.netways.de // blog.netways.de // @netways LOGSTASH OPEN SOURCE LOG-MANAGEMENT 20.02.2014 | WEBINAR BLERIM SHEQA | CHRISTIAN STEIN | NETWAYS GMBH We love Open Source

www.netways.de // blog.netways.de // @netways VORSTELLUNG MITARBEITER ■ Christian Stein  Account Manager  Bei NETWAYS seit 2012 ■ Blerim Sheqa  Systems Engineer  Bei NETWAYS seit 2013 We love Open Source

www.netways.de // blog.netways.de // @netways AGENDA ■ Vorstellung NETWAYS ■ Logstash ■ Logstash Architektur ■ Integration in die IT-Landschaft ■ Live Demo ■ Fragen und Antworten We love Open Source

www.netways.de // blog.netways.de // @netways VORSTELLUNG NETWAYS We love Open Source

www.netways.de // blog.netways.de // @netways VORSTELLUNG NETWAYS ■ Firmengründung 1995 ■ Open Source seit 1997 ■ Aktuell 38 Mitarbeiter ■ Spezialisierung in den Bereichen Open Source Systems Management und Open Source Datacenter We love Open Source

www.netways.de // blog.netways.de // @netways NETWAYS KOMPETENZEN ■ Monitoring ■ Consulting ■ Graphing ■ Hosting ■ Logmanagement ■ Managed Services ■ Konfigurationsmanagement ■ Development ■ Reporting ■ Support ■ Private Cloud ■ Betrieb ■ Reporting ■ Schulungen ■ Backup ■ Konferenzen ■ Projektmanagement ■ Monitoring Hardware We love Open Source

www.netways.de // blog.netways.de // @netways NETWAYS PRODUKTE GRAPHITE We love Open Source

www.netways.de // blog.netways.de // @netways NETWAYS KONFERENZEN CeBIT 2014 ■ 10. – 14. März 2014 in Hannover ■ Halle 6, Stand E16 (310) Open Source Data Center Conference ■ 09. – 10. April 2014 in Berlin ■ 2 Tracks mit Vorträgen & Workshops ■ “Simplifying Complex IT Infrastructures with Open Source” We love Open Source

www.netways.de // blog.netways.de // @netways NETWAYS KONFERENZEN Puppet Camp ■ 11. April 2014 in Berlin ■ “Current state of Puppet, best practices and upcoming features” ■ Open Source Monitoring Conference • 18. – 20. November 2014 • 250 Teilnehmer (2013) • Monitoring Best Practices We love Open Source

www.netways.de // blog.netways.de // @netways NETWAYS SCHULUNGEN We love Open Source

www.netways.de // blog.netways.de // @netways NETWAYS COMMUNITY www.netways.org ■ NETWAYS Addons ■ NETWAYS Plugins www.icinga.org ■ Development ■ Hosting www.monitoringexchange.org ■ Icinga / Nagios Addons und Plugins ■ > 2000 Projekte We love Open Source

www.netways.de // blog.netways.de // @netways NETWAYS KUNDEN – CONSULTING (AUSZUG) We love Open Source

www.netways.de // blog.netways.de // @netways NETWAYS KUNDEN – HOSTING (AUSZUG) We love Open Source

www.netways.de // blog.netways.de // @netways UNSERE LEISTUNGEN IM ÜBERBLICK ■ Konzeptionierung und Planung ■ Workshops & Consulting zur Implementierung vor Ort ■ Betrieb  Komplette Logmanagementsysteme  Teilweise Betriebsunterstützung ■ Entwicklungsleistungen  Plugins und Filter  Systemintegration ■ Schulungen  Standardisierte Schulungsmodule  Individuell vor Ort ■ Support  Standardverträge  Individuelle Supportkonzepte ■ Konferenzen We love Open Source

www.netways.de // blog.netways.de // @netways LOGSTASH OPEN SOURCE LOGMANAGEMENT We love Open Source

www.netways.de // blog.netways.de // @netways LOGSTASH ■ Ziele  Logdateien in großen Mengen behandeln  Analyse der Daten  Anbindung an Monitoringsysteme  Dashboards für Visualisierung und Analyse  Weiterleitung der Daten an Drittsyteme We love Open Source

www.netways.de // blog.netways.de // @netways PROBLEMSTELLUNG ■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 6666 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 492955 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:10 +0100] "GET /app/partials/inspector.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 17140 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 498624 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/micropanel.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/styleEditor.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/editor.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/queriesEditor.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/editor.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" ■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/pagination.html HTTP/1.1" 304 245 "https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0" We love Open Source

www.netways.de // blog.netways.de // @netways VORGEHEN OHNE LOGMANGEMENT ■ Regex Magic ^([d.]+) (S+) (S+) [([w:/]+s[+]d{4})] "(.+?)" (d{3}) (d+) "([^"]+)" "([^"]+)" ■ Pro Logformat eine eigene Regex ■ Aufwendig und zeitintensiv ■ Nur für technisch Versierte ■ Schlecht für die Teamarbeit We love Open Source

www.netways.de // blog.netways.de // @netways SORTIERUNG UND VISUALSIERUNG DER DATEN MIT LOGSTASH We love Open Source

www.netways.de // blog.netways.de // @netways LOGSTASH ARCHITEKTUR We love Open Source

www.netways.de // blog.netways.de // @netways LOGSTASH ARCHITEKTUR Logstash: Pipe on Steroids Input Filter Output We love Open Source

www.netways.de // blog.netways.de // @netways SORTIERUNG DER DATEN ■ Vorher  192.168.1.10 – guest [04/Dec/2013:08:54:23 +0100] "POST /icinga-web/web/api/json HTTP/1.1" 200 788 "https://icinga-private.demo.netways.de/icingaweb/modules/web/portal" "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0" ■ Nachher            "http_clientip": "192.168.1.10", "http_ident": "-", "http_auth": "guest", "timestamp": "04/Dec/2013:08:54:23 +0100", "http_verb": "POST", "http_request": "/icinga-web/web/api/json", "http_httpversion": "1.1", "http_response": "200", "http_bytes": "788", "http_referrer": "https://icinga-private.demo.netways.de/icingaweb/modules/web/portal", "http_agent": "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0" ■ Pattern  "%{COMBINEDAPACHELOG}" We love Open Source

www.netways.de // blog.netways.de // @netways LOGSTASH ARCHITEKTUR Server Switch Webapplikation • • Input Output • • Key-Value Store Puffer • • • Input Filter Output • • Index Queries We love Open Source

www.netways.de // blog.netways.de // @netways INTEGRATION IN DIE IT-LANDSCHAFT We love Open Source

www.netways.de // blog.netways.de // @netways LOGSTASH PLUGINS UND FILTER Input (36) ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ drupal_dblog elasticsearch eventlog exec file ganglia gelf gemfire generator graphite heroku imap irc log4j lumberjack pipe rabbitmq ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ Filter (40) redis relp s3 snmptrap sqlite sqs stdin stomp syslog tcp twitter udp unix varnishlog websocket wmi xmpp zenoss zeromq ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ advisor alter anonymize checksum cidr cipher clone collate csv date dns drop environment extractnumbers gelfify geoip grep grok grokdiscovery json json_encode kv ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ Output (50) metaevent metrics multiline mutate noop prune railsparallelrequest range ruby sleep split syslog_pri translate urldecode useragent uuid xml zeromq ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ boundary circonus cloudwatch datadog datadog_metrics elasticsearch elasticsearch_http elasticsearch_river email exec file ganglia gelf gemfire google_cloud_stor age graphite graphtastic hipchat http irc jira juggernaut librato loggly ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ lumberjack metriccatcher mongodb nagios nagios_nsca null opentsdb pagerduty pipe rabbitmq redis riak riemann s3 sns sqs statsd stdout stomp syslog tcp udp websocket xmpp zabbix zeromq We love Open Source

www.netways.de // blog.netways.de // @netways ■ Integration in nahezu jede Umgebungen      Syslog TCP / UDP Lumberjack fertige Pattern Elasticsearch ■ Skalierbarkeit     Auslagerung auf dedizierte Server Multiple Redis-Server Mehrere Logstash-Indexer möglich Elasticsearch ist clusterfähig (Nodes, Shards, Replika) We love Open Source

www.netways.de // blog.netways.de // @netways ANWENDUNGSMÖGLICHKEITEN ■ Systemlogs (Problemanalyse) ■ Webserver Access- und Errorlogs ■ Logs der eigenen Applikation (Profiling) ■ Alerts via Icinga, E-Mail, XMPP, … ■ Statistiken (Graphite) We love Open Source

www.netways.de // blog.netways.de // @netways LIVE DEMO We love Open Source

www.netways.de // blog.netways.de // @netways FRAGEN UND ANTWORTEN We love Open Source

www.netways.de // blog.netways.de // @netways KONTAKTDATEN NETWAYS GmbH Deutschherrnstrasse 15-19 90429 Nürnberg Tel: +49 911 92885-0 10. – 14. März 2014 Halle 6, Stand E16 (310) Fax: +49 911 92885-77 E-Mail: info@netways.de Website: www.netways.de Twitter: twitter.com/netways Facebook: facebook.com/netways Blog: blog.netways.de We love Open Source

Add a comment

Related presentations

Related pages

Logstash: Windows und Linux Log Management | NETWAYS GmbH

Logstash: Windows und Linux Log Management. Logstash ist eine schlanke Open Source Lösung, ... In diesem Webinar wollen wir schwerpunktmäßig aufzeigen, ...
Read more

Logstash: Windows und Linux Logmanagement (Webinar vom 07 ...

Logstash ist eine schlanke Open Source ... von Logstash, wollen wir in diesem Webinar ... log management based on Logstash ...
Read more

Webinar Icinga 2: Enterprise Monitoring der nächsten ...

www.netways.de // blog.netways.de // @netways We love Open Source WEBINAR | 22.07.2014 ICINGA 2: ENTERPRISE MONITORING DER NÄCHSTEN GENERATION MICHAEL ...
Read more

Logstash - Nagios

Logstash and Log Monitoring With Nagios Logstash Integration Logstash is a powerful Open Source ... Nagios Webinars; ... Log Monitoring, and Log Management ...
Read more

Logstash: Logfile Archivierung leicht gemacht (Webinar 06 ...

Logstash ist eine flexible und skalierbare Open Source Lösung für ... Logstash: Open Source Log Management (Webinar 20. Februar 2014 ...
Read more

Log Management for Spring Boot Applications with Logstash ...

... resources and interesting webinars. ... Logstash agent with the Spring Boot log ... a complete Log Management Solution only with Open Source ...
Read more

Aktuelle Webinare | NETWAYS GmbH

NETWAYS veranstaltet in regelmäßigen Intervallen Webinare, um auf die neusten Open Source Lösungen ... und den Präsentationen ... Open Source ...
Read more

Download syslog-ng Premium Edition - Log Management ...

See how BalaBit Log Management and Privileged Activity Monitoring ... Download the newest ... BalaBit also participates in open source and free ...
Read more

syslog-ng - Log Management Software

Webinar; Support; Documentation; syslog ... See how BalaBit Log Management and Privileged Activity ... Our experience with this open source version was ...
Read more

Elastic · Revealing Insights from Data (Formerly ...

... Logstash & Kibana, Elastic believes data should ... the three open source projects — Elasticsearch, ... of resources — from webinars to blog ...
Read more