calamaris und sarg

[Lars Böker]

Am 13.04.2005 um 21:22 schrieb Lars Böker:

>
> Am 13.04.2005 um 20:44 schrieb Cord Beermann:
>
>> Hallo! Du (Lars Böker) hast geschrieben:
>>
>>> Während calamaris eine Monatssumme von 30 GB ermittelt, kommt sarg 
>>> mal
>>> gerade auf 2 GB.
>>>
>
> Ich habe das jetzt mal im kleinen simuliert mit einer access.log aus
> unserem Testbetrieb, aber da ist es nicht nachvollziehbar, beide
> zeigen einen korrekten Download von 8-9 MB an. Das Problem scheint bei
> größeren Datenmengen aufzutreten.
>
> Ich will aber mal sehen, ob ich noch ne alte Log-Datei mit weniger
> kritischen Daten habe.
>
Hmmm. Wenn ich calamaris per Hand auf die entsprechende access.log 
loslasse,
kommen ganz passable Werte heraus:

---8<-----------------------------
Proxy-Report

Report period: 01.Mar 05 08:18:03 - 31.Mar 05 14:55:33
Generated at:  13.Apr 05 21:32:25

# Summary
lines parsed:         255457
invalid lines:             0
parse time (sec):        114

# Incoming requests by method
method                             request      %    Byte       %   sec 
  kB/sec
--------------------------------- --------- ------ -------- ------ ---- 
-------
GET                                  248174  97.15 1543149K  96.85    0 
   14.03
CONNECT                                4583   1.79 30268649   1.86    2 
    3.76
POST                                   2697   1.06 21110105   1.29    1 
    7.50
HEAD                                      3   0.00     1078   0.00    1 
    0.34
--------------------------------- --------- ------ -------- ------ ---- 
-------
Sum                                  255457 100.00 1593325K 100.00    0 
   13.21
---8<------------------

Das passt zum sarg-output.
Die Html-Datei, die automatisch generiert wurde, sieht in Auszügen so 
aus:

----8<---------------
Monatliches Proxy-Protokoll Proxy Report

    01.Mar 05 08:18:03 - 31.Mar 05 14:55:33
Summary

    lines parsed:       5318853
    invalid lines:            0
    unique hosts/users:      48
    parse time (sec):      3032

    Back to Top

Incoming requests by method

    method  request   %     Byte     %    sec kB/sec
    GET     5159598  97.01  30501M  96.65   0  13.69
    CONNECT  102011   1.92 642767K   1.99   1   3.78
    POST      57173   1.07 438636K   1.36   1   7.44
    HEAD         71   0.00   25508   0.00   1   0.32
    Sum     5318853 100.00  31557M 100.00   0  12.87

-----8<----------

access.log wird monatlich rotiert. Doch selbst wenn ich alle Zeilen 
addiere,
komme ich nicht auf 5318853 Zeilen:

rats03:/var/log/squid# wc access.log*
    207160   2071600  32293284 access.log
    255457   2554570  39972545 access.log.1
    804337   8043370 124990661 access.log.2
    266274   2662740  42775104 access.log.3
   1533228  15332280 240031594 total

????
Ich habe ehrlich gesagt keine Idee, wo sich calamaris
die 5318853-1533228 = 3785625 weiteren Zeilen hergeholt
haben will.


-- 
   Gruß
          Lars Böker            ***  lars at boeker-net.de ***