{"id":2769,"date":"2020-08-17T08:52:33","date_gmt":"2020-08-17T08:52:33","guid":{"rendered":"https:\/\/cloudsurfers.it\/?p=2769"},"modified":"2020-09-29T21:30:58","modified_gmt":"2020-09-29T21:30:58","slug":"stack-elk-for-dummies","status":"publish","type":"post","link":"https:\/\/cloudsurfers.it\/index.php\/stack-elk-for-dummies\/","title":{"rendered":"Stack ELK for dummies"},"content":{"rendered":"\n
\"\"<\/figure>\n\n\n\n

I file di log sono spesso fonte di problemi, perch\u00e9 ad esempio presentano formati strani, perch\u00e9 sono accessibili solo connettendosi sulle singole macchine o perch\u00e9 nel corso degli anni andando verso un approccio legato ai microservizi, il numero di log delle applicazioni \u00e8 sensibilmente aumentato, rendendone pi\u00f9 difficile la gestione.<\/p>\n\n\n\n

Lo stack ELK<\/strong> (o Elastic Stack) \u00e8 una soluzione robusta che consente di migliorare la ricerca, la gestione e l’analisi dei dati, log compresi.
ELK sta diventando la pi\u00f9 comune piattaforma open source di gestione dei log utilizzata a livello globale. I framework open source E<\/strong>lasticsearch, L<\/strong>ogstash e K<\/strong>Ibana, si combinano per fornire una piattaforma unica per l’archiviazione, il recupero, l’ordinamento e l’analisi dei dati. <\/p>\n\n\n\n

Logstash <\/strong>ha il compito di raccogliere, analizzare, normalizzare, aggregare e indicizzare i dati (in vari formati e tipologie) provenienti da pi\u00f9 server e di memorizzarli in un unico storage per facilitare ulteriori possibili trasformazioni e lavorazioni; in seguito alle trasformazioni i dati vengono spediti a varie destinazioni di output supportate<\/p>\n\n\n\n

Elasticsearch <\/strong>(ES) \u00e8 un server di ricerca ed analisi, basato su Apache Lucene, altamente scalabile che consente di immagazzinare, ricercare ed analizzare grandi volumi di dati con interrogazioni che avvengono quasi in tempo reale.
Per questi motivi \u00e8 divenuto nel tempo molto popolare nell’ambito Big Data, negli ambienti enterprise e nel settore del cloud computing. Ad oggi \u00e8 il secondo motore di ricerca pi\u00f9 popolare ed \u00e8 usato in progetti come Netflix, Facebook, Wikipedia, Atlassian, Github e altri.
I dati in Elasticsearch vengono memorizzati in uno o pi\u00f9 indici<\/strong>. Un indice \u00e8 una raccolta di file che presentano caratteristiche tra loro simili. Poich\u00e9 chi lavora con Elasticsearch in genere si occupa di grandi volumi di dati, i dati in un indice vengono a loro volta suddivisi in frammenti (“shards”) per rendere lo storage pi\u00f9 gestibile. Un indice potrebbe essere troppo grande per adattarsi a un singolo disco, ma i frammenti sono pi\u00f9 piccoli e possono essere allocati su nodi diversi in base alle esigenze; un altro vantaggio \u00e8 che le ricerche possono essere eseguite in diversi frammenti in parallelo, accelerando cos\u00ec l’elaborazione delle query.<\/p>\n\n\n\n

Kibana <\/strong>\u00e8 il motore di visualizzazione dei dati di Elasticsearch che offre agli utenti la possibilit\u00e0 di analizzare e visualizzare i dati. Permette un’interazione nativa con tutti i dati presenti nello storage attraverso dashboard personalizzate; queste dashboard sono dinamiche, salvabili, condivisibili ed esportabili. E’ possibile eseguire facilmente analisi di dati avanzate e visualizzare i dati in una variet\u00e0 di tabelle, istogrammi e mappe.<\/p>\n\n\n\n

Attorno a questo ecosistema, gravitano anche i Beats<\/strong>; \u00e8 questa introduzione che ha portato lo stack ELK a essere conosciuto anche come Elastic Stack. Beats \u00e8 una famiglia di log shipper open source che vengono installati sui diversi server della nostra infrastruttura e agiscono come agenti leggeri per la raccolta di log e metriche per diversi casi d’uso. Mentre le metriche mostrano le tendenze e le propensioni di un servizio o di un’applicazione, lo scopo dei log \u00e8 quello di preservare quante pi\u00f9 informazioni possibili, per lo pi\u00f9 tecniche, su un evento specifico. Ognuno dei Beats ha il suo compito, possono ad esempio collezionare file di log relativi a eventi di sistema, ricavare informazioni sui database, fare sniffing della rete, raccogliere informazioni sulle risorse, analizzare gli eventi di Windows.
Il numero dei Beats \u00e8 in continua crescita poich\u00e8 sviluppati sia da Elastic che dalla community; ecco alcuni dei pricipali:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Il loro compito \u00e8 dunque quello di raccogliere i dati delle macchine in cui risiedono e di inoltrarli a Logstash, se hanno bisogno di essere elaborati o analizzati, oppure direttamente ad Elasticsearch.<\/p>\n\n\n\n

In questa guida installeremo Filebeat<\/strong>, tra i Beats \u00e8 quello pi\u00f9 utilizzato ed \u00e8 indicato per raccogliere e inviare file di log e altri dati. Uno dei motivi che rendono Filebeat cos\u00ec efficiente \u00e8 il modo in cui gestisce la contropressione: se Logstash \u00e8 occupato, Filebeat rallenta la velocit\u00e0 di lettura e riprende il ritmo una volta terminato il rallentamento.
Filebeat pu\u00f2 essere installato su quasi tutti i sistemi operativi, anche come contenitore Docker e include anche moduli interni per piattaforme specifiche come Apache, MySQL, Docker, MariaDB, Percona, Kafka e altro.<\/p>\n\n\n\n

\n