Graylog Input, Stream ve Index Ayarlamaları

Selamlar arkadaşlar bu makalemde sizlere Graylog konfigürasyonu hakkında bilgiler vereceğim. Bu makalem sayesinde sistemlerin gönderdiği logları toplayabiliyor ve düzenleyebiliyor olacağız.

Graylog kurulum dökümanım için burayı tıklayabilirsiniz.

INPUT :

Graylog sisteminizde bulunan bir çok cihazdan input olarak loglar toplamaktadır. Ben loğlarımı NXLog ile yollayacağım ve GELF formatında alacağım. İsterseniz SYSLOG olarakta bu logları almanız mümkün. Bu makale bir Dashboard makalesi gibi düşünebilirsiniz. Bir sonraki yazımda logları sistemimize yollayacağız.

Ayarlarımızı yapmaya başlayalım. System > Inputs yolunu izliyoruz.

Select Input kısmından GELF UDP’yi seçiyoruz ve ardından Launch New Input butonuna basıyoruz.

Açılan New Input Penceresinde Title alanına Windows10ClientGelf benzeri bir ad veriyoruz ve Port olara 12201 gibi bir port belirleyerek Save tuşuna basıyoruz.

Artık GrayLog üzerinde 12201 numaralı port açılmış oldu ve Log almak için beklemektedir. Buraya gelecek olan logları Parse işlemlerine tabi tutarak daha düzenli bir hale getirmeniz mümkün ancak bu işlemleri ileriki yazılarımda yapıyor olacağız.

INDEX :

Sistemimize düşen tüm loglar artık tek bir index içerisinde toplanacağından Windows10ClientGelf logları için farklı bir index numarası oluşturmamız gerekiyor.

System / Inputs > Indices yolunu izliyoruz.

Create Index Set tuşuna basıyoruz.

Title, Description ve IndexPrefix (Küçük harf olmak zorunda) dolduruyoruz. Index Shard bir adet EleasticSearch Node olduğundan dolayı 1 olarak bırakıyorum. Index Replicas alanını herhangi bir Replication istemediğim için 0 bırakıyorum.

Select Rotation Strategy alanını Index Time yapıyorum. Rotation Period alanını P30D yaparak 1 aylık indexler tutalacak ve ay sonunda yeni bir index oluşturulacak şekilde ayarlıyorum. Select Retention Strategy’de silmesini söylüyorum ancak Max Number Of Indicies alanında belirtiğim 20 index olana kadar saklayacak.

Artık index’imizi oluşturmuş bulunmaktayız.

STREAM :

Şuanda gelen loglarımız aynı şekilde tek bir Stream içinde toplanmaktadır. Bunları düzenleyerek farklı Stream’lere gitmesini sağlayacağız.

Streams kısmına geliyoruz. Create Stream tuşuna tıklıyoruz.

Title ve Description alanını dolduruyoruz. Index Set alanından Windows10ClientGelf’i seçiyoruz. Remove Matches From ‘All Messages’ Stream alanını işaretliyoruz. Bunu işaretlediğimizde diğer alanlarda loglar tutulmayacak sadece bu Stream’de gözükecektir. Stream bu şekilde oluşturulmuş oldu.

Stream’e Kural yazmak :

Bu kısma geldiyseniz bu Link ile ilk önce NXLog ile cihazınızdaki logları sistemimize göndermeniz gerekmektedir. Bu alanda yapılacak olan ayar ile Stream Rule ataması yapılacaktır. Bu kuralı oluşturmamanız durumunda Default olarak gelecektir.

Inputs alanına tekrar geliyoruz ve oluşturulan ve data toplamış olan Input’umuzda Show Received Message alanına tıklıyoruz.

Toplanan Loglardan birine tıklıyoruz ve Log’un içerisinde gelen bilgilerden bir alan belirliyoruz. Bu o an toplanan loglarda belirleyici özelliğe sahip olan bir alan olmalı. Bundan dolayı SourceModuleType alanını seçiyorum ve im_msvistalog yazısını not alıyorum.

Streams altında oluşturduğumuz Stream’i buluyoruz ve Manage Rules tuşuna basıyoruz.

Açılan sayfada Add Stream Rule tuşuna basıyoruz.

Pencerede Field alanını belirlediğimiz SourceModulType seçeneğini yazıyoruz. Type kısmına Match Exactly seçiyoruz ve Value kısmına im_msvistalog yazısını yazıyoruz ve Save tuşuna basıyoruz.

Eklemiş olduğumuz Rule gözükecektir. I’m done! Tuşunas basıyoruz.

Oluşturulan yeni Stream’ın logları toplaması için Streams sayfasında Start Stream tuşuna basıyoruz.

Indices sayfası altında artık loglarımızın düştüğünü görebilirsiniz. Bunun yapmamızın sebebi bir Pipeline içerisindeki logları Parse etmek istiyorsak bu şekilde bir yol izlememiz gerekiyor.

Server üzerinde curl –X GET http://localhost:9200/_cat/indices?v komutunu çalıştırırsanız Elasticsearch üzerinde oluşturulan win10_0 index’inin oluşturulduğunu görecekseniz. Bu oluşturulmamış olsaydı graylog_0 index’inde toplanıyor olacaktı loglar.

Bu sayede Input, Index ve Stream aşamalarını yapmış olduk arkadaşlar. Umarım yararlı bir yazı olmuştur. Herkese kolaylıklar dilerim.

Bir Cevap Yazın