<div dir="ltr">That backend timeout feature does sound promising... Nescalers do reap connections.<div><br></div><div>To be completely clear, I was arguing that you should run tcpdump on the varnish server itself, listening for all traffic to it's direct backend.</div><div><br></div><div>You could do that... That'd give you a better idea of what's happening on that server.  To augment it, you'd also need to run 'nstcpdump.sh' on the netscaler and ideally on the backend itself.  Then you'd need to line up the HTTP transaction across all of them.  It'd won't be much fun, but you'll see exactly where the problem is, and know who to yell at to fix it.</div><div><br></div><div>-Jason<br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Jan 22, 2016 at 9:38 AM, L Cruzero <span dir="ltr"><<a href="mailto:lcruzero@gmail.com" target="_blank">lcruzero@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><font color="#660066" face="Verdana, Arial, Helvetica">thanks Jason, I've not found any 400+ or 500+ errors in any of web app server logs that correlate to varnishlog timestamps. also, I should have included this bit of info. the backend that varnish connects to is a Netscaler LB, both thread_pool_timeout in varnish and tcp persistent connection timeout in LB are set to 120secs. pointing varnish directly to a web app server to get a good tcpdump output wont be as straight forward as it sounds, due to content switching policies being applied at the NS to server various page components from different web app endpoints. I'm considering upgrading to 4.1, which list "backend connection timeout" as one of the changes. </font><div><font color="#660066" face="Verdana, Arial, Helvetica"><br></font><div><font color="#660066" face="Verdana, Arial, Helvetica"><a href="https://www.varnish-cache.org/docs/trunk/whats-new/changes.html" target="_blank">https://www.varnish-cache.org/docs/trunk/whats-new/changes.html</a><br></font><div><font color="#660066" face="Verdana, Arial, Helvetica">  <br></font><div><span style="color:rgb(102,0,102);font-family:Verdana,Arial,Helvetica"><br></span></div><div><span style="color:rgb(102,0,102);font-family:Verdana,Arial,Helvetica">thanks.</span></div><span class="HOEnZb"><font color="#888888"><div><span style="color:rgb(102,0,102);font-family:Verdana,Arial,Helvetica">-LC<br><br></span></div></font></span></div></div></div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Jan 22, 2016 at 8:55 AM, Jason Price <span dir="ltr"><<a href="mailto:japrice@gmail.com" target="_blank">japrice@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Is there any chance the web app behind varnish is doing this?</div><div><br></div><div>I hate to suggest this, but capturing the problem with tcpdump and finding it in wireshark may be the best way of proving which side has the problem.  Capture the pcap file with full timestamps, and correlate the times with varnish log, and follow the TCP connection.</div><div><br></div><div>-Jason</div></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div>On Thu, Jan 21, 2016 at 2:45 PM, L Cruzero <span dir="ltr"><<a href="mailto:lcruzero@gmail.com" target="_blank">lcruzero@gmail.com</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div><div dir="ltr">Hi, I'm occasionally seeing this error " http first read error: EOF" in varnishlog for content that exist, and not exceeding "first_byte_timeout" TTL<div>I was considering issuing a restart < 4 on 503's with a URL condition match since this is happening pretty rarely, I'm seeing the error just 2-3 times while also getting a 200 for the same html asset 3,000+ times within a couple of mins of logging. </div><div><br></div><div><div><br></div><div>







<p>varnish-4.0.3</p><p><br></p><p># varnishadm "param.show first_byte_timeout"</p><p>first_byte_timeout</p><p>        Value is: 60.000 [seconds] (default)</p><p>        Default is: 60.000</p><p>        Minimum is: 0.000</p><p># varnishadm "param.show thread_pool_timeout"<br></p><p>thread_pool_timeout</p><p>        Value is: 120.000 [seconds]</p><p>        Default is: 300.000</p><p>        Minimum is: 10.000<br></p><p><br></p><p>VCL code used to define and use backend where 503 errors are being generated..<br></p><p>backend wwwdot {<br></p><p>        .host = "<a href="http://web-prod-ssf.domain.ly" target="_blank">web-prod-ssf.domain.ly</a>";</p><p>        .port = "80";</p><p>        }</p><p><br></p><p>if (req.http.host ~ "^(origin-www|www)") {</p><p>        set req.backend_hint = wwwdot;</p><p>        return(pass);</p><p>




























</p><p>}</p><p><< BeReq    >> 575646365</p><p>-   Begin          bereq 575646364 pass</p><p>-   Timestamp      Start: 1453229310.040839 0.000000 0.000000</p><p>-   BereqMethod    GET</p><p>-   BereqURL       /toprail-domain.html</p><p>-   BereqProtocol  HTTP/1.1</p><p>-   BereqHeader    DNT: 1</p><p>-   BereqHeader    Cookie: bknx_fa=1453197478872; bknx_ss=1453229297581; CPN_crispkey=; CPN_geo=eyJpcF9hZGRyZXNzIjoiNzAuMTk2LjEzMi4yMyIsImlwX3R5cGUiOiJNYXBwZWQiLCJOZXR3b3JrIjp7ImNvbm5lY3Rpb25fdHlwZSI6Im1vYmlsZSB3aXJlbGVzcyIsImxpbmVfc3BlZWQiOiJsb3ciLCJpcF9yb3V0aW5nX3R5cGUiO</p><p>-   BereqHeader    Accept: */*</p><p>-   BereqHeader    User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 9_2 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13C75 Safari/601.1</p><p>-   BereqHeader    Accept-Language: en-us</p><p>-   BereqHeader    Referer: <a href="http://www.domain.com/outdoors/index.ssf/2014/02/wild_boar_attacks_slidell_man.html" target="_blank">http://www.domain.com/outdoors/index.ssf/2014/02/wild_boar_attacks_slidell_man.html</a></p><p>-   BereqHeader    X-Client-Dest-Addr: 69.164.6.110</p><p>-   BereqHeader    True-Client-IP: 70.196.132.44</p><p>-   BereqHeader    X-Via: 1.1 <a href="http://sw.cds943.dal.llnw.net:8000" target="_blank">sw.cds943.dal.llnw.net:8000</a> (EdgePrism/<a href="http://4.3.1.0" target="_blank">4.3.1.0</a>), 1.1 <a href="http://cds1158.dal.llnw.net:80" target="_blank">cds1158.dal.llnw.net:80</a> (EdgePrism/<a href="http://4.3.1.0" target="_blank">4.3.1.0</a>), 1.1 <a href="http://cds1079.lga.llnw.net:80" target="_blank">cds1079.lga.llnw.net:80</a> (EdgePrism/<a href="http://4.3.1.0" target="_blank">4.3.1.0</a>)</p><p>-   BereqHeader    Host: <a href="http://www.domain.com" target="_blank">www.domain.com</a></p><p>-   BereqHeader    Accept-Encoding: identity</p><p>-   BereqHeader    X-Forwarded-For: 70.196.132.44, 69.164.7.89, 69.164.43.169, 69.164.48.181, 10.51.13.254</p><p>-   BereqHeader    X-Varnish: 575646365</p><p>-   VCL_call       BACKEND_FETCH</p><p>-   VCL_return     fetch</p><p>-   BackendOpen    86 wwwdot(69.4.99.100,,80) 10.51.13.97 56085</p><p>-   Backend        86 wwwdot wwwdot(69.2.99.10,,80)</p><p>-   Timestamp      Bereq: 1453229310.041475 0.000635 0.000635</p><p>-   FetchError     http first read error: EOF</p><p>-   BackendClose   86 wwwdot(69.4.99.100,,80)</p><p>-   Timestamp      Beresp: 1453229310.041717 0.000877 0.000242</p><p>-   Timestamp      Error: 1453229310.041720 0.000881 0.000003</p><p>-   BerespProtocol HTTP/1.1</p><p>-   BerespStatus   503</p><p>-   BerespReason   Service Unavailable</p><p>-   BerespReason   Backend fetch failed</p><p>-   BerespHeader   Date: Tue, 19 Jan 2016 18:48:30 GMT</p><p>-   BerespHeader   Server: Varnish</p><p>-   VCL_call       BACKEND_ERROR</p><p>-   BerespHeader   Content-Type: text/html; charset=utf-8</p><p>-   BerespHeader   Retry-After: 5</p><p>-   VCL_return     deliver</p><p>-   Storage        malloc Transient</p><p>-   ObjProtocol    HTTP/1.1</p><p>-   ObjStatus      503</p><p>-   ObjReason      Backend fetch failed</p><p>-   ObjHeader      Date: Tue, 19 Jan 2016 18:48:30 GMT</p><p>-   ObjHeader      Server: Varnish</p><p>-   ObjHeader      Content-Type: text/html; charset=utf-8</p><p>-   ObjHeader      Retry-After: 5</p><p>-   Length         286</p><p>-   BereqAcct      5960 0 5960 0 0 0</p><p>























































</p><p>-   End</p><p><br></p><p>any suggestions and or ideas on solving this issue would be much appreciated.   <br></p><div><br></div><p>Thanks <span><font color="#888888"><br></font></span></p><span><font color="#888888"><p>-LC<br><br></p></font></span></div></div></div>
<br></div></div>_______________________________________________<br>
varnish-misc mailing list<br>
<a href="mailto:varnish-misc@varnish-cache.org" target="_blank">varnish-misc@varnish-cache.org</a><br>
<a href="https://www.varnish-cache.org/lists/mailman/listinfo/varnish-misc" rel="noreferrer" target="_blank">https://www.varnish-cache.org/lists/mailman/listinfo/varnish-misc</a><br></blockquote></div><br></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div>