<br><div class="gmail_quote">On Thu, Sep 15, 2011 at 11:29, Aurélien Lemaire <span dir="ltr"><<a href="mailto:aurelien.lemaire@smile.fr">aurelien.lemaire@smile.fr</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">

<u></u>

  

    
  
  <div bgcolor="#ffffff" text="#000000">
    Good day folks,<br>
    <br>
    First of all, varnish is an outstanding piece of software that my
    company and i are addicted to. So thanks to all the coders.<br>
    <br>
    Here is my problem :<br>
    I allocated varnish 1G of RAM on a website that can have more than 2
    Go of possible cacheable objects . Not to worry though as any
    proxy-cache system should smartly nuke old objects to make place to
    new one to live peacefully within its allocated RAM. And that's
    where Varnish behave unexpectedly : each time it need to nuke SOME
    objects : it nukes ALMOST ALL of them (often ~80% of my 35k objects)
    which is quite aggressive ; thus i lost almost all my cache....IRK !<br>
    <br>
    3 Munin graphs attached to see the problem clearly : big drop each
    time a nuking happens.<br>
    <br>
    To make sure my pbr is about varnish nuking system : i increased
    from 1G to 3G(more than the max possible 2G cacheable objects) on
    another varnish of this platefom (this website is delivered by
    multiple front/varnish server all stricly similar and independant)
    and this issue disappeared (no more nuking : no lost of ~80%of my
    objects)<br>
    <br>
    Here is my env : <br>
    Debian 5.0.8 64 bits on 2.6.32-5-openvz-amd64 kernel<br>
    Varnish 2.1.3 SVN 5049:5055(debian package 2.1.3-8) <br>
    200 varnish 's worker threads running constantly (no issue on
    workers)<br>
    30req/s average with 60/s in peak<br>
    <br>
    Daemon run as such :<br>
    /usr/sbin/varnishd -P /var/run/varnishd.pid -a :80 -T localhost:6082
    -S /etc/varnish/secret -f /etc/varnish/serverx.vcl -w 100,1024 -s
    file,/var/lib/varnish/serverx/varnish_storage.bin,3G<br>
    <br>
    Here a quick varnishstat -1 :<br><br>
    Is it normal varnish behaviour ? sounds like a bug to me.<br>
    Am i missing some tuning (lru_interval)  to soften the nuking algo ?<br>
    Do you need more info ?<br>
    helps appreciated here  ;-)<br>
    <br>
    Regards, Aurelien Lemaire<br>
  </div>

<br></blockquote></div><br>It could be someone downloading a large file (like a ~700Mb iso file) 
and varnish nuking objects to make room for this file (even if its 
configured to not cache it).<br><br>Try to get a varnishlog trace of the moment the nuking begins.<br clear="all"><br>-- <br>Jorge Nerín<br><<a href="mailto:jnerin@gmail.com">jnerin@gmail.com</a>><br>