<div dir="ltr"><div>Is there any chance the web app behind varnish is doing this?</div><div><br></div><div>I hate to suggest this, but capturing the problem with tcpdump and finding it in wireshark may be the best way of proving which side has the problem.  Capture the pcap file with full timestamps, and correlate the times with varnish log, and follow the TCP connection.</div><div><br></div><div>-Jason</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jan 21, 2016 at 2:45 PM, L Cruzero <span dir="ltr"><<a href="mailto:lcruzero@gmail.com" target="_blank">lcruzero@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi, I'm occasionally seeing this error " http first read error: EOF" in varnishlog for content that exist, and not exceeding "first_byte_timeout" TTL<div>I was considering issuing a restart < 4 on 503's with a URL condition match since this is happening pretty rarely, I'm seeing the error just 2-3 times while also getting a 200 for the same html asset 3,000+ times within a couple of mins of logging. </div><div><br></div><div><div><br></div><div>







<p>varnish-4.0.3</p><p><br></p><p># varnishadm "param.show first_byte_timeout"</p><p>first_byte_timeout</p><p>  Â  Â  Â  Value is: 60.000 [seconds] (default)</p><p>  Â  Â  Â  Default is: 60.000</p><p>  Â  Â  Â  Minimum is: 0.000</p><p># varnishadm "param.show thread_pool_timeout"<br></p><p>thread_pool_timeout</p><p>  Â  Â  Â  Value is: 120.000 [seconds]</p><p>  Â  Â  Â  Default is: 300.000</p><p>  Â  Â  Â  Minimum is: 10.000<br></p><p><br></p><p>VCL code used to define and use backend where 503 errors are being generated..<br></p><p>backend wwwdot {<br></p><p>  Â  Â  Â  .host = "<a href="http://web-prod-ssf.domain.ly" target="_blank">web-prod-ssf.domain.ly</a>";</p><p>  Â  Â  Â  .port = "80";</p><p>  Â  Â  Â  }</p><p><br></p><p>if (req.http.host ~ "^(origin-www|www)") {</p><p>  Â  Â  Â  set req.backend_hint = wwwdot;</p><p>  Â  Â  Â  return(pass);</p><p>




























</p><p>}</p><p><< BeReq  Â  >> 575646365</p><p>- Â  Begin  Â  Â  Â  Â  bereq 575646364 pass</p><p>- Â  Timestamp  Â  Â  Start: 1453229310.040839 0.000000 0.000000</p><p>- Â  BereqMethod  Â  GET</p><p>- Â  BereqURL Â  Â  Â  /toprail-domain.html</p><p>- Â  BereqProtocol  HTTP/1.1</p><p>- Â  BereqHeader  Â  DNT: 1</p><p>- Â  BereqHeader  Â  Cookie: bknx_fa=1453197478872; bknx_ss=1453229297581; CPN_crispkey=; CPN_geo=eyJpcF9hZGRyZXNzIjoiNzAuMTk2LjEzMi4yMyIsImlwX3R5cGUiOiJNYXBwZWQiLCJOZXR3b3JrIjp7ImNvbm5lY3Rpb25fdHlwZSI6Im1vYmlsZSB3aXJlbGVzcyIsImxpbmVfc3BlZWQiOiJsb3ciLCJpcF9yb3V0aW5nX3R5cGUiO</p><p>- Â  BereqHeader  Â  Accept: */*</p><p>- Â  BereqHeader  Â  User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 9_2 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13C75 Safari/601.1</p><p>- Â  BereqHeader  Â  Accept-Language: en-us</p><p>- Â  BereqHeader  Â  Referer: <a href="http://www.domain.com/outdoors/index.ssf/2014/02/wild_boar_attacks_slidell_man.html" target="_blank">http://www.domain.com/outdoors/index.ssf/2014/02/wild_boar_attacks_slidell_man.html</a></p><p>- Â  BereqHeader  Â  X-Client-Dest-Addr: 69.164.6.110</p><p>- Â  BereqHeader  Â  True-Client-IP: 70.196.132.44</p><p>- Â  BereqHeader  Â  X-Via: 1.1 <a href="http://sw.cds943.dal.llnw.net:8000" target="_blank">sw.cds943.dal.llnw.net:8000</a> (EdgePrism/<a href="http://4.3.1.0" target="_blank">4.3.1.0</a>), 1.1 <a href="http://cds1158.dal.llnw.net:80" target="_blank">cds1158.dal.llnw.net:80</a> (EdgePrism/<a href="http://4.3.1.0" target="_blank">4.3.1.0</a>), 1.1 <a href="http://cds1079.lga.llnw.net:80" target="_blank">cds1079.lga.llnw.net:80</a> (EdgePrism/<a href="http://4.3.1.0" target="_blank">4.3.1.0</a>)</p><p>- Â  BereqHeader  Â  Host: <a href="http://www.domain.com" target="_blank">www.domain.com</a></p><p>- Â  BereqHeader  Â  Accept-Encoding: identity</p><p>- Â  BereqHeader  Â  X-Forwarded-For: 70.196.132.44, 69.164.7.89, 69.164.43.169, 69.164.48.181, 10.51.13.254</p><p>- Â  BereqHeader  Â  X-Varnish: 575646365</p><p>- Â  VCL_call Â  Â  Â  BACKEND_FETCH</p><p>- Â  VCL_return Â  Â  fetch</p><p>- Â  BackendOpen  Â  86 wwwdot(69.4.99.100,,80) 10.51.13.97 56085</p><p>- Â  Backend  Â  Â  Â  86 wwwdot wwwdot(69.2.99.10,,80)</p><p>- Â  Timestamp  Â  Â  Bereq: 1453229310.041475 0.000635 0.000635</p><p>- Â  FetchError Â  Â  http first read error: EOF</p><p>- Â  BackendClose Â  86 wwwdot(69.4.99.100,,80)</p><p>- Â  Timestamp  Â  Â  Beresp: 1453229310.041717 0.000877 0.000242</p><p>- Â  Timestamp  Â  Â  Error: 1453229310.041720 0.000881 0.000003</p><p>- Â  BerespProtocol HTTP/1.1</p><p>- Â  BerespStatus Â  503</p><p>- Â  BerespReason Â  Service Unavailable</p><p>- Â  BerespReason Â  Backend fetch failed</p><p>- Â  BerespHeader Â  Date: Tue, 19 Jan 2016 18:48:30 GMT</p><p>- Â  BerespHeader Â  Server: Varnish</p><p>- Â  VCL_call Â  Â  Â  BACKEND_ERROR</p><p>- Â  BerespHeader Â  Content-Type: text/html; charset=utf-8</p><p>- Â  BerespHeader Â  Retry-After: 5</p><p>- Â  VCL_return Â  Â  deliver</p><p>- Â  Storage  Â  Â  Â  malloc Transient</p><p>- Â  ObjProtocol  Â  HTTP/1.1</p><p>- Â  ObjStatus  Â  Â  503</p><p>- Â  ObjReason  Â  Â  Backend fetch failed</p><p>- Â  ObjHeader  Â  Â  Date: Tue, 19 Jan 2016 18:48:30 GMT</p><p>- Â  ObjHeader  Â  Â  Server: Varnish</p><p>- Â  ObjHeader  Â  Â  Content-Type: text/html; charset=utf-8</p><p>- Â  ObjHeader  Â  Â  Retry-After: 5</p><p>- Â  Length Â  Â  Â  Â  286</p><p>- Â  BereqAcct  Â  Â  5960 0 5960 0 0 0</p><p>























































</p><p>- Â  End</p><p><br></p><p>any suggestions and or ideas on solving this issue would be much appreciated. Â Â <br></p><div><br></div><p>Thanks <span class="HOEnZb"><font color="#888888"><br></font></span></p><span class="HOEnZb"><font color="#888888"><p>-LC<br><br></p></font></span></div></div></div>
<br>_______________________________________________<br>
varnish-misc mailing list<br>
<a href="mailto:varnish-misc@varnish-cache.org">varnish-misc@varnish-cache.org</a><br>
<a href="https://www.varnish-cache.org/lists/mailman/listinfo/varnish-misc" rel="noreferrer" target="_blank">https://www.varnish-cache.org/lists/mailman/listinfo/varnish-misc</a><br></blockquote></div><br></div>