<div dir="ltr">Hi,<br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Nov 3, 2015 at 4:08 PM, Caires Vinicius <span dir="ltr"><<a href="mailto:cairesvs@gmail.com" target="_blank">cairesvs@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">We had some problems with malloc with the same kind of aws instance and the <span style="font-size:13px;line-height:19.5px">-s malloc,5.8G(80% of the memory total). The only trace of the error was a </span><span style="line-height:19.5px">cannot fork cannot allocate memory into syslog. We're probably missing some point, maybe the instance size ins't the right fit for us.</span></div></blockquote><div><br></div><div><br></div><div>This sounds like your running out of virtual memory. Maybe you're running without swap space?</div><div><br></div><div>Per.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div class="h5"><br><br><div class="gmail_quote"><div dir="ltr">On Tue, Nov 3, 2015 at 10:56 AM Per Buer <<a href="mailto:perbu@varnish-software.com" target="_blank">perbu@varnish-software.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi,<div><br></div><div class="gmail_extra"><br><div class="gmail_quote"></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Tue, Nov 3, 2015 at 1:42 PM, Caires Vinicius <span dir="ltr"><<a href="mailto:cairesvs@gmail.com" target="_blank">cairesvs@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><p style="margin:0px 10px 1.5em 0px;color:rgb(34,34,34);font-family:'Open Sans',sans-serif;font-size:12px;line-height:18px">We've started to use Varnish 4 with Amazon Linux with EBS SSD of 40GB, memory of 7.5GB. We use the file storage with 20G allocated with ttl of 11 minutes and grace of 5 hours, all the other configs are standard.</p></div></blockquote></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div>I would, on a general basis, recommend against using the file backend. It will start to struggle with fragmentation relatively quickly and the performance isn't all that great (lots of unnecessary synchronous reads).</div></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><p style="margin:0px 10px 1.5em 0px;color:rgb(34,34,34);font-family:'Open Sans',sans-serif;font-size:12px;line-height:18px"></p><p style="margin:0px 10px 1.5em 0px;color:rgb(34,34,34);font-family:'Open Sans',sans-serif;font-size:12px;line-height:18px">Sometimes when we have a lot of request that result into cache miss we started to notice that our request latency grows and the iowait stays at 100%, something similar to this <a href="https://www.varnish-cache.org/lists/pipermail/varnish-misc/2008-April/016139.html" rel="nofollow" style="text-decoration:none;color:rgb(30,117,187);background:transparent" target="_blank">https://www.varnish-cache.org/lists/pipermail/varnish-misc/2008-April/01...</a>. And our threads reaches the maximum (1000).</p><p style="margin:0px 10px 1.5em 0px;color:rgb(34,34,34);font-family:'Open Sans',sans-serif;font-size:12px;line-height:18px">Do you guys have any idea why is that? </p></div></blockquote></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div>Yeah. New objects get assign a piece of memory, starts writing, triggers pagefault, kernel takes over and reads/merges the underlying page, varnish then overwrites that page which then gets written back to disk. This naturally slows down delivery so Varnish spawns new threads.</div><div><br></div><div>Try malloc. You should start with -s malloc,30G or there about - if you have lots of small objects you might need to go a bit down to avoid swapping.</div><div><br></div><div>Not related: You should also move /var/lib/varnish onto tempfs. Linux will do a lot of writing if the shared memory segment is visible on a filesystem that is backed by a disk.</div></div></div></div><div dir="ltr"><div class="gmail_extra">-- <br><div><div dir="ltr"><div><div dir="ltr"><table border="0" cellpadding="0" cellspacing="0" style="border-bottom-width:1px;padding-top:5px;border-top-style:solid;width:550px;padding-bottom:5px;border-bottom-color:rgb(238,238,238);border-top-width:1px;border-bottom-style:solid;line-height:1.5em;border-top-color:rgb(238,238,238);color:rgb(102,102,102);font-size:12px;font-family:'Helvetica Neue',Arial,sans-serif;margin-top:20px"><tbody><tr><td width="100"><img src="http://www.varnish-software.com/static/media/logo-email.png"></td><td><font color="#222222"><span style="font-size:14px"><b>Per Buer</b></span></font><br>CTO | Varnish Software AS<br>Cell: <a value="+4790181750" style="color:rgb(17,85,204)">+47 95839117</a><br><span style="font-weight:bold">We Make Websites Fly!<br><a href="https://www.varnish-software.com/" style="color:rgb(17,85,204)" target="_blank">www.varnish-software.com</a></span></td></tr></tbody></table><br><div style="color:rgb(136,136,136)"><a href="http://info.varnish-software.com/signature" target="_blank"><img src="http://files.varnish-software.com/signature.png"></a><br></div></div></div></div></div>
</div></div></blockquote></div></div></div></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><table border="0" cellpadding="0" cellspacing="0" style="border-bottom-width:1px;padding-top:5px;border-top-style:solid;width:550px;padding-bottom:5px;border-bottom-color:rgb(238,238,238);border-top-width:1px;border-bottom-style:solid;line-height:1.5em;border-top-color:rgb(238,238,238);color:rgb(102,102,102);font-size:12px;font-family:'Helvetica Neue',Arial,sans-serif;margin-top:20px"><tbody><tr><td width="100"><img src="http://www.varnish-software.com/static/media/logo-email.png"></td><td><font color="#222222"><span style="font-size:14px"><b>Per Buer</b></span></font><br>CTO | Varnish Software AS<br>Cell: <a value="+4790181750" style="color:rgb(17,85,204)">+47 95839117</a><br><span style="font-weight:bold">We Make Websites Fly!<br><a href="https://www.varnish-software.com/" style="color:rgb(17,85,204)" target="_blank">www.varnish-software.com</a></span></td></tr></tbody></table><br><div style="color:rgb(136,136,136)"><a href="http://info.varnish-software.com/signature" target="_blank"><img src="http://files.varnish-software.com/signature.png"></a><br></div></div></div></div></div>
</div></div>