Home  |  Map  |  Index  |  Zoek

Convert to GutenPalm or to PalmDoc door Over de auteur: Naast zijn werk voor het LinuxFocus project, werkt Egon ook voor de Logreport Foundation, die de lire software ontwikkelt. Inhoud: Inleiding Installatie Lire als een cron taak Lire als een "stand-alone" gereedschap Conclusie Talkback voor dit artikel

Het analyseren van de logbestanden van je internet applicaties

Kort:

Dit artikel is de eerste in een serie over het gebruik van lire om log bestanden van internet server applicaties te analyseren. Deze analyse is niet gelimiteerd tot een service, bijvoorbeeld Apache, maar lire is een geintegreerd analyse gereedschap voor veel verschillende services. DNS, WWW en e-mail worden ondersteund. Dit artikel legt uit hoe je aan de slag kunt met lire. Het gaat over de installatie en de configuratie om rapporten te genereren.

Inleiding

De meeste internet services kunnen hun activiteiten loggen. Bijvoorbeeld de Apache web server die voor iedere opgevraagde web pagine een regel met informatie wegschrijft nar een log bestand. Afhankelijk van het log format bevat de regel informatie, zoals bijvoorbeeld welke pagina werd opgevraagd, het formaat van de pagina, welke browser er gebruikt werd, en nog veel meer. In het geval van je e-mail server wordt er een soortgelijk log bestand aangemaakt. Dit bevat het e-mail adres waar de e-mail vandaan komt, wie het ontvangen heeft, hoe groot het was, enz. Alle internet services hebben een dergelijke mogelijkheid.

Deze log bestanden bevatten zeer veel informatie, maar het formaat is lastig uit de losse pols te interpreteren. Je hebt een gereedschap nodig dat samenvattingen van de gegevens maakt om je te helpen bij het analyseren van de inhoud. In het geval van www services converteert dit naar TopX lijsten voor web browsers, domeinen en platforms, en een bezocht versus tijdsplot. De meeste tellers van andere producten laten dit soort overzichten zien.

Er bestaan voor de meeste log bestand typen gereedschappen om de inhoud te analyseren. lire is zo'n gereedschap. Maar lire is anders dan de meeste gereedschappen. Lire is een geintegreerd systeem dat niet slechts een type internet service kan analyseren, maar velen. En de rapporten die de interessante gegevens uit de log bestanden samenvatten zitten eraan. Je kan zelf op maat gemaakte rapport-typen aan toevoegen.

Lire kan op verschillende manieren gebruikt worden. Je kan het draaien vanaf de commandoregel of je kan een crontab taak geinstalleerd hebben die je rapporten per e-mail stuurt. In het eerste geval kan je het output format voor het rapport kiezen. De op dit moment beschikbare output formats zijn onder andere platte tekst, HTML, DocBook, PDF en LogML. In het geval van de crontab taak is het enige beschikbare format op dit moment platte tekst.

Nu kunnen de log bestanden voor deze services worden geanalyseerd:

• www
  • Apache
  • Boa
• email
  • Exim
  • Postfix
  • Sendmail
  • Qmail
• dns
  • Bind8/9

Lire wordt snel ontwikkeld, op dit moment met drie mensen die er betaald aan werken. Een van hun taken is support, dus als je een speciaal verzoek hebt (een nieuwe service bijvoorbeeld) of voor algemene ondersteuningsvragen, laat dan een bericht achter op LogReport's SourceForge site.

Installatie

./configure
make
make install

Het configuratie programma heeft opties

Als je van plan bent om gebruik te maken van andere output formaten dan platte tekst, moet je XML gereedschappen zoals de DocBook XML stijlbladen, Jade en een XML processor zoals Xalan of Sablotron geinstalleerd hebben. Met de derde optie voor het configuratie programma kan je aangeven waar de SGML bestanden geinstalleerd zijn.

Lire als een cron taak

Heb je dit script gestart als deze gebruiker?

Het script moet worden gedraaid door een gebruiker die de log bestanden kan lezen. De log bestanden zijn vaak alleen maar leesbaar voor root en de gebruikers van de groep adm. Controleer of de gebruiker de log bestanden kan lezen. Een voorbeeld:

~> cd /var/log
/var/log> ls -al apache/access.combined.log
-rw-r----- 1 root root 70902 Jul 27 13:23 apache/access.combined.log
/var/log> whoami
egonw
/var/log> groups
egonw adm dialout

In dit voorbeeld kn de huidige gebruiker egonw het Apache log bestand niet lezen. Alleen de root kan op dit moment het bestand lezen. De gebruiker is echter lid van de groep adm dus we kunnen dit probleem oplossen door de root de groep voor het log bestand te laten wijzigen:

/var/log# whoami
root
/var/log# chgrp adm apache/access.combined.log
/var/log# ls -al apache/access.combined.log
-rw-r--r-- 1 root adm 70902 Jul 27 13:23 apache/access.combined.log

Tijdelijke bestanden worden standaard niet bewaard. Wil je dezen behouden?

Voor normaal gebruik zou je hier nee moeten zeggen.

Ben je van plan een online responder te draaien?

De online responder is een gereedschapje dat het mogelijk maakt om je log bestand als e-mail naar deze responder en om dan daarvan een rapport terug te krijgen. Dit is bruikbaar voor beheerders van grote netwerken. Voor normaal gebruik moet je hier nee kiezen.

Standaard worden tijdelijke bestanden in ~/tmp opgeslagen. Wil je dit veranderen?

Standaard worden tijdlijke bestanden opgeslagen in je home directory. Je kan deze instellingen veranderen door ja te kiezen en de directory op te geven waar je ze dan wel heen wilt schrijven. Onthoud hierbij wel dat dit een directory moet zijn waarin de gebruiker die lire draait schrijfrechten heeft.

Wil je een "disclaimer" versturen bij de gegenereerde rapporten?

Als je je rapporten naar anderen stuurt, dan zou je misschien een "disclaimer" willen toevoegen en moet je dus ja antwoorden op deze vraag. Als de rapporten alleen voor intern gebruik zijn, dan kan je hier nee antwoorden.

Standaard worden status en foutmeldingen naar stderr gestuurd. Wil je dit veranderen in syslog?

Door hier ja te antwoorden, kies je ervoor dat foutmeldingen en informatieve meldingen naar logger(1) worden gestuurd in plaats van naar standaard foutmelding (STDERR). Hiervoor moet je wel syslog's logger(1) geinstalleerd hebben.

Standaard worden informatieve en debug berichten onderdrukt. Wil je het systeem in debug modus draaien? Voor normaal gebruik moet je hier nee kiezen.

Wil je enkele standaard instellingen voor alle services gebruiken?

Je kan voor alle services een e-mail adres en een onderwerp apart instellen. Voor het gemk kan je ook een standaard globale instelling gebruiken. Antwoord hier ja om deze standaard in te stellen:

Wil je een "standaard-naar" e-mail adres gebruiken?

Als je hier ja natwoord, dan wordt dit e-mail adres gebruikt om rapporten naar toe te sturen. Het kan voor specifieke services overschreven worden.

Wil je een standaard onderwerp sjabloon gebruiken voor de gegenereerde e-mail?

Als je hier ja antwoord kan je een sjabloon opgeven dat gebruikt wordt om e-mail onderwerpen aan te geven. De standaard ziet er als volgt uit: "[LogReport] www / apache report" voor rapporten van Apache log bestanden.

Welke services draai je?

Alle volgende vragen gaan over welke services je van wilt dat lire een rapport van maakt. De vragen lijken op elkaar en worden hier dus ook niet een voor een besproken. Maar voor alle services zien de vragen er als volgt uit:

Verzamel je ***** logbestanden op deze machine die je verwerkt wilt hebben?

De programma's die lire ondersteunt worden gegroepeerd als zogenaamde "super services". De eerste vraag vor iedere super service is altijd of je logbestanden verzamelt waarvan je wilt dat lire er een rapport vn maakt. Als je hier nee antwoord, dan worden de verdere vragen over deze super service niet gesteld. De super services die lire op dit moment ondersteunt zijn gegeven aan het begin van dit artikel. Er is er echter een die daar niet genoemd is: apachemodgzip. Dez werkt met log bestanden over Apache in gecomprimeerde modus.

Het configuratie programma zal je daarna vragen stellen over welke services een voor een gedraaid worden. Voor e-mail bijvoorbeeld zouden deze services exim, postfix, qmail en sendmail kunnen zijn. Voor ieder programma vraagt lr_config je waar lire de log bestanden kan vinden. Deze kunnen ingepakt zijn, omdat lire je zal vragen of je wil specificeren met behulp van welke programma's het de log bestanden moet lezen: zcat of gunzip -c kan op deze manier gebruikt worden.

Worden enigen van je ***** logbestanden wekelijks gerouleerd?

Als je ja antwoord, zullen de crontab taken voor lire worden geconfigureerd om maar eens per week te draaien. De andere optie is dagelijks.

Als alle vragen beantwoord zijn, schrijft hij alle instellingen naar configuratie bestanden (*/defaults.local). Deze bestanden kunnen worden gebruikt door de lire cron taak. Helaas wordt deze corn taak niet automatisch geactiveerd. Je moet dit zelf doen door de volgende "one-liner" in te typen:

~> { echo '0 10 * * * /usr/local/logreport/bin/lr_cron daily';
     echo '0 10 * * 0 /usr/local/logreport/bin/lr_cron weekly'; } | crontab -

Zodra lire op dee manier gectiveerd is, zullen de rapporten op een wekelijkse of dagelijkse basis worden verstuurd. Je kan de configuratie fine tunen door de de hierboven genoemde configurtie bestanden te bewerken.

Lire als een "stand-alone" gereedschap

~> lr_run lr_log2report /tmp/err www apache combined <
   /var/log/apache/access.combined.log > apache.txt

Het lr_log2report programma gebruikt tenminste drie argumenten. Het eerste is een bestnd waar de fouten naar toe worden gestuurd. In dit geval /tmp/err. Het tweede argument is de super service van het log bestand. Er zijn op dit moment drie super services: www, dns en e-mail. Het derde argument is de service, dat het type log bestand typeert. In dit gevl is dat een Apache gecombineerd bestand, dus de service is apache. Er bestaat een extra argument dat een vlagfunctie heeft en die vertelt dat het apache log bestand gebruikmaakt van het gecombineerde format. Zoals met de meeste lire programma's, kan je extra informatie vinden met behulp van man:

~> man lr_log2report

Om het output formaat te veranderen kan je de optie "-i <format>" gebruiken. Geldige formaten zijn op dit moment txt (standaard), logml (LogML website), DocBook XML (DocBook Open Repository), HTML en PDF. De laatste twee hebben DocBook stylesheets en Jade nodig om te werken. Alle formaten behalve platte tekst hebben ook een XSLT processor zoals Gnome's xsltproc nodig om bijvoorbeeld PDF te genereren:

~> lr_run lr_log2report -o pdf /tmp/err www apache combined
   < /var/log/apache/access.combined.log > apache.pdf

Conclusie

Dit artikel heeft in het kort het lire project voorgesteld en je laten zien hoe je de software kan installeren en configureren. De volgende artikelen in deze serie zullen de software en het gebruik verder omschrijven. Voor nu kan je meer informatie hierover vinden op onze website: http://www.logreport.org/.

Als je contact met ons wilt opnemen, kan je ons het beste ontmoeten op IRC. De ontwikkelaars kunnen vaak gevonden worden op het #logreport kanaal op het OpenProjects.org IRC netwerk. Vragen, opmerkingen en ondersteuningsvragen zijn welkom.

Talkback voor dit artikel

2002-01-15, generated by lfparser version 2.17