Hi Matt,<div>Oh, sorry, I didn't notice the worker thread count at 3000. I would suggest switching to -smalloc,38G (total mem * 0.8). If you have a lot of small objects or objects of the same size, you could be encountering some excessive nuking. </div>
<div><br></div><div>Also, what are your backends doing when this happens? Is the nuking a coincidence or is there an issue further down the stack?</div><div><br></div><div>Damon<br><br><div class="gmail_quote">On Thu, Sep 29, 2011 at 5:42 PM, Matt Schurenko <span dir="ltr"><<a href="mailto:MSchurenko@airg.com">MSchurenko@airg.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><div lang="EN-CA" link="blue" vlink="purple"><div><p class="MsoNormal"><span style="font-size:10.0pt;color:blue">Sorry. I forgot to mention that I already adjusted thread behaviour via varniahadm while varnish was running. I had it set to use min 50, max 3000 and a thread timeout of 120s. I think the reason why n_wrk_overflow and n_wrk_drop are so high is due to this problem. Before the lru nuke happens the number of worker threads are ~ 100. As soon as it starts to nuke the number of threads jumps to the max. I am monitoring some stats with MRTG. I seem to remember that on the other varnish server it would being to lru nuke long before the cache got full. For this one there is no lru nuke activity until it reaches a certain point and then boom. 3000 threads are used up and no more new clients can connect. <u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:blue"><u></u> <u></u></span></p><div><p class="MsoNormal"><span style="font-size:10.0pt;color:blue"><br>Matt Schurenko<br>Systems Administrator</span><span style="color:blue"><br>
  <u></u><u></u></span></p><p class="MsoNormal"><b><span style="font-size:16.0pt;color:#636563">air</span></b><b><span style="font-size:16.0pt;color:#FF8000">G</span></b><b><span style="font-size:9.0pt;color:#848284">®</span></b><b><span style="font-size:16.0pt;color:#FF9A00"> </span></b><b><i><span style="font-size:10.0pt;color:#636563">Share Your World</span></i></b><span style="font-size:10.0pt;color:blue"><br>
Suite 710, 1133 Melville Street<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:10.0pt;color:blue">Vancouver, BC  V6E 4E5<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:10.0pt;color:blue">P: <a href="tel:%2B1.604.408.2228" value="+16044082228" target="_blank">+1.604.408.2228</a> </span><span style="color:blue"><u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:blue">F: <a href="tel:%2B1.866.874.8136" value="+18668748136" target="_blank">+1.866.874.8136</a></span><span style="color:blue"><u></u><u></u></span></p><p class="MsoNormal">
<span style="font-size:10.0pt;color:blue">E: <a href="mailto:MSchurenko@airg.com" target="_blank">MSchurenko@airg.com</a></span><span style="color:blue"><u></u><u></u></span></p></div><p class="MsoNormal"><span style="font-size:10.0pt;color:blue">W: <a href="http://www.airg.com" target="_blank">www.airg.com</a></span><span style="font-size:10.0pt;color:blue"><u></u><u></u></span></p>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm"><p class="MsoNormal"><b><span lang="EN-US" style="font-size:10.0pt">From:</span></b><span lang="EN-US" style="font-size:10.0pt"> Damon Snyder [mailto:<a href="mailto:damon@huddler-inc.com" target="_blank">damon@huddler-inc.com</a>] <br>
<b>Sent:</b> September-29-11 5:30 PM<br><b>To:</b> Matt Schurenko<br><b>Cc:</b> <a href="mailto:varnish-misc@varnish-cache.org" target="_blank">varnish-misc@varnish-cache.org</a><br><b>Subject:</b> Re: lru nuke causes varnish to stop respnding to client requests<u></u><u></u></span></p>
</div><div><div></div><div class="h5"><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">Hi Matt,<u></u><u></u></p><div><p class="MsoNormal">It looks like you really need to bump up the number of worker threads. From your stats:<u></u><u></u></p>
</div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_wrk_queue              2861         0.02 N queued work requests</span><u></u><u></u></p><p class="MsoNormal">
<span style="font-size:10.0pt;color:black">n_wrk_overflow          83534         0.52 N overflowed work requests</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_wrk_drop              10980         0.07 N dropped work requests</span><u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">You have a lot of requests that are on the queue waiting for a worker and you have a lot of requests where varnish has given up trying to fullfil with a worker. You can bump the number of works up using the -w command line option to varnishd. I would suggest something like -w 400,1000,120 to start with (the default is -w2,500,300). This says use 400 at a minimum, 1000 as the maximum, and set the timeout to 120s. According to the <a href="https://www.varnish-cache.org/trac/wiki/StatsExplained" target="_blank">stats explanation doc</a> your n_wrk_queue and n_wrk_drop should be 0. If you see these numbers going up again, use -w 500,2000,120 or something like that.</span><u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">Hope this helps,</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">Damon</span><u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p><div><p class="MsoNormal">On Thu, Sep 29, 2011 at 4:34 PM, Matt Schurenko <<a href="mailto:MSchurenko@airg.com" target="_blank">MSchurenko@airg.com</a>> wrote:<u></u><u></u></p>
<div><div><p class="MsoNormal"><span style="font-size:10.0pt;color:black">I’ve been having this problem for a couple weeks now on one of our varnish servers. I have posted a couple times already. What happens is that the server in questions runs fine until the cache gets full. When it starts to lru nuke the number of worker threads jumps up to thread_pool_max and varnish stops responding to any client requests. I have tried this with Centos5.4, 5.7 and now Slackware (all 64-bit ) and the behaviour is the same. </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">I am using varnish version 2.1.5 on a Dell C6105 with 48GB of RAM.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">Here is my varnishd command line:</span><u></u><u></u></p><p class="MsoNormal">
<span style="font-size:10.0pt;color:black"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">/usr/local/sbin/varnishd -s file,/tmp/varnish-cache,48g -T <a href="http://127.0.0.1:2000" target="_blank">127.0.0.1:2000</a> -a <a href="http://0.0.0.0:80" target="_blank">0.0.0.0:80</a> -t 604800 -f /usr/local/etc/varnish/default.vcl -p http_headers 384 -p connect_timeout 4.0</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">Here is the output from varnishstat -1:</span><u></u><u></u></p><p class="MsoNormal">
<span style="font-size:10.0pt;color:black"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">client_conn          38582763       240.38 Client connections accepted</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">client_drop             10950         0.07 Connection dropped, no sess/wrk</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">client_req           38298994       238.61 Client requests received</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">cache_hit            32513762       202.57 Cache hits</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">cache_hitpass               0         0.00 Cache hits for pass</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">cache_miss            5784476        36.04 Cache misses</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">backend_conn          5725540        35.67 Backend conn. success</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">backend_unhealthy            0         0.00 Backend conn. not attempted</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">backend_busy                0         0.00 Backend conn. too many</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">backend_fail             1383         0.01 Backend conn. failures</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">backend_reuse           60837         0.38 Backend conn. reuses</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">backend_toolate            33         0.00 Backend conn. was closed</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">backend_recycle         60870         0.38 Backend conn. recycles</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">backend_unused              0         0.00 Backend conn. unused</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">fetch_head                  6         0.00 Fetch head</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">fetch_length            93631         0.58 Fetch with Length</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">fetch_chunked         5689433        35.45 Fetch chunked</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">fetch_eof                   0         0.00 Fetch EOF</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">fetch_bad                   0         0.00 Fetch had bad headers</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">fetch_close               107         0.00 Fetch wanted close</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">fetch_oldhttp               0         0.00 Fetch pre HTTP/1.1 closed</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">fetch_zero                  0         0.00 Fetch zero len</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">fetch_failed                1         0.00 Fetch failed</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_sess_mem               7138          .   N struct sess_mem</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_sess                   6970          .   N struct sess</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_object              5047123          .   N struct object</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_vampireobject             0          .   N unresurrected objects</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_objectcore          5048435          .   N struct objectcore</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_objecthead          4955641          .   N struct objecthead</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_smf                10139770          .   N struct smf</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_smf_frag             295671          .   N small free smf</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_smf_large                 0          .   N large free smf</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_vbe_conn               2997          .   N struct vbe_conn</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_wrk                    3000          .   N worker threads</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_wrk_create             5739         0.04 N worker threads created</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_wrk_failed                0         0.00 N worker threads not created</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_wrk_max                4063         0.03 N worker threads limited</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_wrk_queue              2861         0.02 N queued work requests</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_wrk_overflow          83534         0.52 N overflowed work requests</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_wrk_drop              10980         0.07 N dropped work requests</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_backend                   2          .   N backends</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_expired                2179          .   N expired objects</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_lru_nuked            862615          .   N LRU nuked objects</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_lru_saved                 0          .   N LRU saved objects</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_lru_moved          27156180          .   N LRU moved objects</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_deathrow                  0          .   N objects on deathrow</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">losthdr                     0         0.00 HTTP header overflows</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_objsendfile               0         0.00 Objects sent with sendfile</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_objwrite           37294888       232.35 Objects sent with write</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_objoverflow               0         0.00 Objects overflowing workspace</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">s_sess               38566049       240.27 Total Sessions</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">s_req                38298994       238.61 Total Requests</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">s_pipe                      0         0.00 Total pipe</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">s_pass                    266         0.00 Total pass</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">s_fetch               5783176        36.03 Total fetch</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">s_hdrbytes        12570989864     78319.53 Total header bytes</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">s_bodybytes      151327304604    942796.38 Total body bytes</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">sess_closed          34673984       216.03 Session Closed</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">sess_pipeline             187         0.00 Session Pipeline</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">sess_readahead            321         0.00 Session Read Ahead</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">sess_linger           3929378        24.48 Session Linger</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">sess_herd             3929559        24.48 Session herd</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">shm_records        <a href="tel:2025645664" target="_blank">2025645664</a>     12620.14 SHM records</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">shm_writes          169640580      1056.89 SHM writes</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">shm_flushes                41         0.00 SHM flushes due to overflow</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">shm_cont               580515         3.62 SHM MTX contention</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">shm_cycles                933         0.01 SHM cycles through buffer</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">sm_nreq              12431620        77.45 allocator requests</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">sm_nobj               9844099          .   outstanding allocations</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">sm_balloc         43855261696          .   bytes allocated</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">sm_bfree           7684345856          .   bytes free</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">sma_nreq                    0         0.00 SMA allocator requests</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">sma_nobj                    0          .   SMA outstanding allocations</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">sma_nbytes                  0          .   SMA outstanding bytes</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">sma_balloc                  0          .   SMA bytes allocated</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">sma_bfree                   0          .   SMA bytes free</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">sms_nreq                 1566         0.01 SMS allocator requests</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">sms_nobj                    0          .   SMS outstanding allocations</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">sms_nbytes                  0          .   SMS outstanding bytes</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">sms_balloc             656154          .   SMS bytes allocated</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">sms_bfree              656154          .   SMS bytes freed</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">backend_req           5786381        36.05 Backend requests made</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_vcl                       1         0.00 N vcl total</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_vcl_avail                 1         0.00 N vcl available</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_vcl_discard               0         0.00 N vcl discarded</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_purge                   218          .   N total active purges</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_purge_add               218         0.00 N new purges added</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_purge_retire              0         0.00 N old purges deleted</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_purge_obj_test       588742         3.67 N objects tested</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_purge_re_test     120444323       750.39 N regexps tested against</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">n_purge_dups                0         0.00 N duplicate purges removed</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">hcb_nolock           38301670       238.63 HCB Lookups without lock</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">hcb_lock              5786309        36.05 HCB Lookups with lock</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">hcb_insert            5786305        36.05 HCB Inserts</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">esi_parse                   0         0.00 Objects ESI parsed (unlock)</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">esi_errors                  0         0.00 ESI parse errors (unlock)</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">accept_fail                 0         0.00 Accept failures</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">client_drop_late           30         0.00 Connection dropped late</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">uptime                 160509         1.00 Client uptime</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">backend_retry              25         0.00 Backend conn. retry</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">dir_dns_lookups             0         0.00 DNS director lookups</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">dir_dns_failed              0         0.00 DNS director failed lookups</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">dir_dns_hit                 0         0.00 DNS director cached lookups hit</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">dir_dns_cache_full            0         0.00 DNS director full dnscache</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">fetch_1xx                   0         0.00 Fetch no body (1xx)</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">fetch_204                   0         0.00 Fetch no body (204)</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">fetch_304                   0         0.00 Fetch no body (304)</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">Even though I have removed the server from our load balancer there are still a lot of requests going to the backend. Maybe these are all queued up requests that varnish is trying to fulfill? Here is some output from varnishlog –c when I try to connect with curl:</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">root@mvp14:~# varnishlog -c</span><u></u><u></u></p><p class="MsoNormal">
<span style="font-size:10.0pt;color:black">   26 SessionOpen  c 192.168.8.41 41942 <a href="http://0.0.0.0:80" target="_blank">0.0.0.0:80</a></span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">   26 ReqStart     c 192.168.8.41 41942 2108342803</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">   26 RxRequest    c GET</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">   26 RxURL        c /</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">   26 RxProtocol   c HTTP/1.1</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">   26 RxHeader     c User-Agent: curl/7.21.4 (x86_64-unknown-linux-gnu) libcurl/7.21.4 OpenSSL/0.9.8n zlib/1.2.5 libidn/1.19</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">   26 RxHeader     c Host: <a href="http://mvp14.airg.com" target="_blank">mvp14.airg.com</a></span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">   26 RxHeader     c Accept: */*</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">   26 VCL_call     c recv</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">   26 VCL_return   c lookup</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black">   26 VCL_call     c hash</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">   26 VCL_return   c hash</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">The connection just hangs here until it times out.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">Any help would be appreciated. We are trying to replace our squid caching layer with varnish. However if I can’t resolve this issue we will have to go back to squid.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black">Thanks,</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:10.0pt;color:black"> </span><span style="color:#888888"><u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:10.0pt;color:black"> </span><span style="color:#888888"><u></u><u></u></span></p>
<div><p class="MsoNormal"><b><span style="font-size:10.0pt;color:black">Matt Schurenko</span></b><span style="color:black"><br></span><span style="font-size:10.0pt;color:gray">Systems Administrator</span><span style="color:black"> </span><span style="color:#888888"><u></u><u></u></span></p>
</div></div></div><p class="MsoNormal"><br>_______________________________________________<br>varnish-misc mailing list<br><a href="mailto:varnish-misc@varnish-cache.org" target="_blank">varnish-misc@varnish-cache.org</a><br>
<a href="https://www.varnish-cache.org/lists/mailman/listinfo/varnish-misc" target="_blank">https://www.varnish-cache.org/lists/mailman/listinfo/varnish-misc</a><u></u><u></u></p></div><p class="MsoNormal"><u></u> <u></u></p>
</div></div></div></div></div></blockquote></div><br></div>