wikinotes

Cette page est en lecture seule. Vous pouvez afficher le texte source, mais ne pourrez pas le modifier. Contactez votre administrateur si vous pensez qu'il s'agit d'une erreur.
{{tag>sysadmin log ryslog elasticsearch todo}}

====== rsyslog: exporter les logs vers elasticsearch ======

rsyslog propose un module natif écrit en C permettant de journaliser les logs produits localement vers une serveur Elasticsearch. L'avantage est sa simplicité de mise en œuvre. On évite l'utilisation du composant Logtash, la solution est plus économe en ressources.

rsyslog s'adresse directement à Elasticsearch via son module ''omelasticsearch''. Contrairement a syslong-ng aucune bibliothèque Java n'est nécessaire, rsyslog utilise l'API Rest HTTP pour pousser les données.

Installer le module
<code bash>
sudo apt install rsyslog-elasticsearch
</code>

Ajouter un fichier de configuration dans le dossier /etc/rsyslog.d/*.conf

<file conf 00-elasticsearch.conf>
module(load="omelasticsearch")

template(name="plain-syslog" type="list" option.json="on") {
    constant(value="{")
    constant(value="\"@timestamp\":\"")     property(name="timereported" dateFormat="rfc3339")
    constant(value="\",\"host\":\"")        property(name="hostname")
    constant(value="\",\"severity-num\":")  property(name="syslogseverity")
    constant(value=",\"facility-num\":")    property(name="syslogfacility")
    constant(value=",\"severity\":\"")      property(name="syslogseverity-text")
    constant(value="\",\"facility\":\"")    property(name="syslogfacility-text")
    constant(value="\",\"syslogtag\":\"")   property(name="syslogtag")
    constant(value="\",\"message\":\"")     property(name="msg")
    constant(value="\"}")
}

template(name="logstash-index" type="string" string="logstash-%$YEAR%.%$MONTH%.%$DAY%")

action(type="omelasticsearch"
  template="plain-syslog"
  searchIndex="logstash-index"
  dynSearchIndex="on"
  bulkmode="on"
  errorfile="/var/log/omelasticsearch.log")

</file>

Le template reformate les données produites par rsyslog en JSON.
Avec cette configuration tous les logs générés par l’hôte sont communiqués au serveur elasticsearch. Chaque jour un nouvel index est créé de la forme rsyslog-AAAA.MM.DD. Ces données peuvent être présentées simplement sans modification par Kibana.

===== Mise en forme et export des logs UFW =====

On définit un nouveau template de type list qui reformate les données générées par UFW. Ici le champ message est analysé via des regex afin de définir de nouveau attributs sur lesquels des filtres pourront être utilisés lors de requêtes ou dans Kibana confère wiki [[sysadmin:linux:rsyslog:templates_et_regex]] et 

<file>
template(name="json-ufw" type="list" option.jsonf="on") {
    property(name="timereported" outname="@timestamp" dateFormat="rfc3339" format="jsonf")
    property(name="hostname" outname="host" format="jsonf")
    constant(value="UFW" outname="app-name" format="jsonf")
    property(name="syslogfacility" outname="facility-num" datatype="number" format="jsonf")
    property(name="syslogfacility-text" outname="facility" format="jsonf")
    # Remplace le niveau de criticité par défaut des logs générés par UFW warning -> notice
    #property(name="syslogseverity" outname="severity-num" datatype="number" format="jsonf")
    #property(name="syslogseverity-text" outname="severity" format="jsonf")
    constant(value="\"severity-num\": 5")
    constant(value="notice" outname="severity" format="jsonf")
    property(name="syslogtag" outname="syslogtag" format="jsonf")
    property(name="msg" outname="action" onEmpty="null" regex.submatch="2" regex.type="ERE" regex.nomatchmode="BLANK" regex.expression="(\\[UFW\\s)(\\w*)" format="jsonf")
    property(name="msg" outname="in_interface" onEmpty="null" regex.submatch="2" regex.type="ERE" regex.nomatchmode="BLANK" regex.expression="(\\sIN=)(\\w*)" format="jsonf")
    property(name="msg" outname="out_interface" onEmpty="null" regex.submatch="2" regex.type="ERE" regex.nomatchmode="BLANK" regex.expression="(\\sOUT=)(\\w*)" format="jsonf")
    property(name="msg" outname="protocol" onEmpty="null" regex.submatch="2" regex.type="ERE" regex.nomatchmode="BLANK" regex.expression="(\\sPROTO=)(\\w*|\\d*)" format="jsonf")
    property(name="msg" outname="src_ip" onEmpty="null" regex.submatch="1" regex.type="ERE" regex.nomatchmode="BLANK" regex.expression="SRC=([0-9]+(\\.[0-9]+){3})" format="jsonf")
    property(name="msg" outname="dst_ip" onEmpty="null" regex.submatch="1" regex.type="ERE" regex.nomatchmode="BLANK" regex.expression="DST=([0-9]+(\\.[0-9]+){3})" format="jsonf")
    property(name="msg" outname="src_port" onEmpty="null" regex.submatch="1" regex.type="ERE" regex.nomatchmode="BLANK" regex.expression="SPT=(\\w+)" datatype="number" format="jsonf")
    property(name="msg" outname="dst_port" onEmpty="null" regex.submatch="1" regex.type="ERE" regex.nomatchmode="BLANK" regex.expression="DPT=(\\w+)" datatype="number" format="jsonf")
    property(name="msg" outname="message" format="jsonf")
}
</file>

On associe le template à une ou plusieurs actions, ici les données sont enregistrées localement puis communiquées a la base elasticsearch via le module omelasticsearch:

<file>
# action
:msg,contains,"[UFW " action(type="omfile" file="/var/log/ufw-json.log" template="json-ufw")
&action(type="omelasticsearch"
  server="localhost"
  serverport="9200"
  template="json-ufw"
  searchIndex="logstash-index"
  dynSearchIndex="on"
  bulkmode="on"
  maxbytes="100m"
  queue.type="linkedlist"
  queue.size="5000"
  queue.dequeuebatchsize="300"
  action.resumeretrycount="-1"
  errorfile="/var/log/rsyslog-elasticsearch.log")
</file>

===== Références =====

  * https://www.rsyslog.com/doc/v8-stable/configuration/modules/omelasticsearch.html
  * https://sematext.com/blog/recipe-rsyslog-elasticsearch-kibana/
  * https://chabik.com/2019/03/rsyslog-to-elasticsearch/
  * https://www.rsyslog.com/json-elasticsearch/
  * https://ahelpme.com/software/rsyslog/send-access-logs-in-json-to-elasticsearch-using-rsyslog/
wikinotes

Outils pour utilisateurs

Outils du site

Outils de la page
