for our purposes, it would have to be done at the point of log writing (primarily, but not limited to, the need to ensure that if for whatever reason we have to re-process a log file that we can quickly identify lines already written to the db via a unique index).<div>
<br></div><div><br></div><div><div><div><div><div><br><div class="gmail_quote">On Wed, Nov 2, 2011 at 3:54 PM, AD <span dir="ltr"><<a href="mailto:straightflush@gmail.com">straightflush@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">we do something similar.  My suggestion, <div><br></div><div> md5(logentry + currentTimeInMilliseconds) as your key as you loop through the logfile</div>
<div><br></div><div><br><br><div class="gmail_quote"><div><div></div><div class="h5">On Wed, Nov 2, 2011 at 3:03 PM, Mit Rowe <span dir="ltr"><<a href="mailto:mit@stagename.com" target="_blank">mit@stagename.com</a>></span> wrote:<br>

</div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div></div><div class="h5"><div style="font-family:arial, sans-serif;font-size:13px;background-color:rgb(255, 255, 255)">
Hello!</div><div style="font-family:arial, sans-serif;font-size:13px;background-color:rgb(255, 255, 255)">
<br></div>
<div style="font-family:arial, sans-serif;font-size:13px;background-color:rgb(255, 255, 255)">For many reasons (QA, performance analytics, etc) we log all of our proxy traffic into a database.</div><div style="font-family:arial, sans-serif;font-size:13px;background-color:rgb(255, 255, 255)">


<br></div><div style="font-family:arial, sans-serif;font-size:13px;background-color:rgb(255, 255, 255)">We do this with varnish by collecting a text log via varnishncsa -F and a CSV formatted string, and regularly run a batch process that inserts this CSV data into a database.</div>


<div style="font-family:arial, sans-serif;font-size:13px;background-color:rgb(255, 255, 255)"><br></div><div style="font-family:arial, sans-serif;font-size:13px;background-color:rgb(255, 255, 255)">I was wondering... does varnish internally generate a reliably random unique value for each request (similar to mod_unique_id in apache or a uuid/guid), and if so is there a way that i can write it out to my logs, perhaps via an insertion into a request header and using the %{HEADER}i macro in varnishncsa? </div>


<div style="font-family:arial, sans-serif;font-size:13px;background-color:rgb(255, 255, 255)"><br></div><font color="#888888"><div style="font-family:arial, sans-serif;font-size:13px;background-color:rgb(255, 255, 255)">

-Mit</div>
<div><br></div><br>
</font><br></div></div>_______________________________________________<br>
varnish-misc mailing list<br>
<a href="mailto:varnish-misc@varnish-cache.org" target="_blank">varnish-misc@varnish-cache.org</a><br>
<a href="https://www.varnish-cache.org/lists/mailman/listinfo/varnish-misc" target="_blank">https://www.varnish-cache.org/lists/mailman/listinfo/varnish-misc</a><br></blockquote></div><br></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><span style="font-family:arial, sans-serif;font-size:13px;border-collapse:collapse"><span style="color:gray">Will 'Mit' Rowe<br>Stagename</span><i><br>
</i><span style="color:rgb(153, 153, 153)">1-866-326-3098</span><br><span style="color:rgb(153, 153, 153)"><a href="mailto:josh@stagename.com" style="color:rgb(42, 93, 176)" target="_blank">mit@stagename.com</a></span><br style="color:rgb(153, 153, 153)">
<span style="color:rgb(153, 153, 153)"><a href="http://www.stagename.com/" style="color:rgb(42, 93, 176)" target="_blank">www.stagename.com</a></span><br><span style="color:rgb(153, 153, 153)">Twitter: @stagename</span><br style="color:rgb(153, 153, 153)">
<br style="color:rgb(153, 153, 153)"><span style="font-size:8pt;color:rgb(153, 153, 153)"></span><i><span style="font-size:8pt;color:gray">The information transmitted is intended only for the person or entity to which it is addressed and may contain confidential and/or privileged material. Any review, retransmission, dissemination or other use of this information by persons or entities other than the intended recipient is prohibited. If you received this transmission in error, please contact the sender and delete all material contained herein from your computer.</span></i><span style="font-size:8pt;color:gray"></span> </span><br>

</div></div></div></div></div>