<div dir="ltr">Dear Kay,<div><br></div><div>Thanks for the detailed response.  I will go through the links including the book chapter that you pointed to and then decide what next to do accordingly.</div><div><br></div><div>with regards,<br>Kaushik</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Apr 17, 2016 at 2:19 AM, Kay Diederichs <span dir="ltr">&lt;<a href="mailto:kay.diederichs@uni-konstanz.de" target="_blank">kay.diederichs@uni-konstanz.de</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Kaushik,<br>
<br>
there is no need for, and no sense in, an exhaustive search of data<br>
processing parameter space, because its dimensionality is way too high<br>
to achieve anything useful. The programs MOSFLM and XDS have undergone<br>
decades of development, and their processing defaults are carefully<br>
chosen. It is rather the user of the programs who is in charge to<br>
correctly interpret the output (which requires reading of their<br>
documentation, and some experience), and to make meaningful adjustments<br>
to (usually very) few parameters.<br>
<br>
Speaking for XDS, I recommend to read XDSwiki articles (there are<br>
tutorials and example data sets, and lots of explanations) and a book<br>
chapter that I recently wrote (#131 at<br>
<a href="http://cms.uni-konstanz.de/strucbio/diederichs-group/publications" rel="noreferrer" target="_blank">http://cms.uni-konstanz.de/strucbio/diederichs-group/publications</a> ). If<br>
you use the generate_XDS.INP script from XDSwiki, and follow the paper<br>
and the &quot;Optimization&quot; article, you will get good data from XDS. (There<br>
are other scripts, like autoPROC, xia2, xdsme and so on, which usually<br>
also give good results but I don&#39;t know them well.) In particular, in<br>
case of XDS there is usually no need to fiddle around with &quot;box size,<br>
<span class="">spot separation, tolerance and other parameters&quot;.<br>
<br>
</span>The fact that you seem to try and optimize Rmerge suggests to me that<br>
you are trading precision for accuracy. Too many people still do this,<br>
but it is a legacy of the past. &quot;Trying a combination of better frames<br>
over poorer frames&quot; is most likely _not_ going to improve your merged<br>
intensities - this is another unfortunate and very common<br>
misunderstanding (see references 113 and 130).<br>
<br>
I hope this helps you to get better data.<br>
<br>
Kay<br>
<br>
<br>
On 16.04.2016 21:18, <a href="mailto:phenixbb-request@phenix-online.org">phenixbb-request@phenix-online.org</a> wrote:<br>
&gt; Message: 6<br>
&gt; Date: Sun, 17 Apr 2016 00:48:31 +0530<br>
&gt; From: Kaushik Hatti &lt;<a href="mailto:hskaushik@gmail.com">hskaushik@gmail.com</a>&gt;<br>
&gt; To: PHENIX user mailing list &lt;<a href="mailto:phenixbb@phenix-online.org">phenixbb@phenix-online.org</a>&gt;<br>
&gt; Subject: [phenixbb] Data processing: exhaustive search?<br>
&gt; Message-ID:<br>
&gt;       &lt;CAGMFGb=B9s-j4yXmRx8_M7NPndf86puviiY9QMg=<a href="mailto:EAqaWr9thw@mail.gmail.com">EAqaWr9thw@mail.gmail.com</a>&gt;<br>
&gt; Content-Type: text/plain; charset=&quot;utf-8&quot;<br>
<div class="HOEnZb"><div class="h5">&gt;<br>
&gt; Hello,<br>
&gt;<br>
&gt; I have a data set diffracted to 2.7A collected at 1.54 wavelength. The data<br>
&gt; is not of great quality with very close spots, ellipsoid spots in certain<br>
&gt; regions of the frames and spot overlaps.  Also certain frames are poorer<br>
&gt; than rest.  The crystal could not be reproduced.<br>
&gt;<br>
&gt; The best R merge (overall) I have achieved so far is 17% with 85%<br>
&gt; completeness and 3 I/SigI processed in P4 space group. I feel it&#39;s possible<br>
&gt; to process it better by identifying right values for box size, spot<br>
&gt; separation, tolerance and other parameters. I am also suspecting a higher<br>
&gt; symmetry space group.  I believe, trying a combination of better frames<br>
&gt; over poorer ones with improve merging statistics.<br>
&gt;<br>
&gt; I have so far tried processing in iMosflm and XDS. Is there a tool which<br>
&gt; could search exhaustively trying different values for parameters and<br>
&gt; suggest the combination which provide best merging statistics?<br>
&gt;<br>
&gt; Sorry if this question is not relevant in this group.<br>
&gt; Any pointers/suggestions would be gratefully helpful.<br>
&gt;<br>
&gt; Thanks in advance,<br>
&gt; Regards,<br>
&gt; Kaushik<br>
&gt; Molecular Biophysics Unit,<br>
&gt; Indian Institute of Science,<br>
&gt; Bangalore, India.<br>
<br>
</div></div><span class="HOEnZb"><font color="#888888">--<br>
Kay Diederichs               <a href="http://strucbio.biologie.uni-konstanz.de" rel="noreferrer" target="_blank">http://strucbio.biologie.uni-konstanz.de</a><br>
email: <a href="mailto:Kay.Diederichs@uni-konstanz.de">Kay.Diederichs@uni-konstanz.de</a> Tel +49 7531 88 4049 Fax 3183<br>
Fachbereich Biologie, Universität Konstanz, Box 647, D-78457 Konstanz<br>
</font></span></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr"><font color="#999999">Stupidity is everyone’s birthright.  However, only the learned exercise it!<br>--Kaushik (28Oct2014)</font></div></div>
</div>