Hi Peter,<br><br>As far as I can see (by comparing the input &amp; output mtz files) this command: &nbsp; <br><br>phenix.refine H1pk.mtz H1pk.pdb xray_data.r_free_flags.generate=True twin_law="-k,-h,-l"<br><br>does generate a new set of R-free reflections in the newly generated mtz file, hopefully taking into account the twin law.<br>
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Cheers,<br><br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Boaz<br>----<br><br><br>----- Original Message -----<br>From: Peter Zwart &lt;phzwart@gmail.com&gt;<br>Date: Thursday, May 7, 2009 0:08<br>Subject: Re: [phenixbb] Selection of R-free set for twin refinement<br>To: PHENIX user mailing list &lt;phenixbb@phenix-online.org&gt;<br><br>&gt; Okai,<br>&gt; <br>&gt; when the twin law is not specified, it will not do a twin based<br>&gt; refinement, but does take all possible twin laws into considerations<br>&gt; when making an free set.<br>&gt; <br>&gt; when specifying the twin law, a twin based refinement is carried out.<br>&gt; <br>&gt; I am not sure about making a new test set when you already have one.<br>&gt; Pavel, Ralf, any clue?<br>&gt; <br>&gt; P<br>&gt; <br>&gt; <br>&gt; 2009/5/6 Boaz Shaanan &lt;bshaanan@bgu.ac.il&gt;:<br>&gt; &gt; Hi Peter,<br>&gt; &gt;<br>&gt; &gt; I went ahead and tried your suggestion in phenix.refine. With <br>&gt; this parameter<br>&gt; &gt; in the command line<br>&gt; &gt;<br>&gt; &gt; xray_data.r_free_flags.generate=True<br>&gt; &gt;<br>&gt; &gt; &nbsp;but without twin_law="whatever" parameter, the program does <br>&gt; not have any<br>&gt; &gt; clue about twinning and the refinement indeed ignores it, at <br>&gt; least by the<br>&gt; &gt; look of the progress (I didn't let it go to the end and then <br>&gt; check the<br>&gt; &gt; resulting mtz file). On the other hand, with <br>&gt; twin_law="whatever" all is OK.<br>&gt; &gt; In fact I also got an answer to my second question in the <br>&gt; previous message,<br>&gt; &gt; i.e. that a new R-free set is selected even thought the <br>&gt; incoming mtz file<br>&gt; &gt; had a previously selected R-free set (by scala). I guess I <br>&gt; should use the<br>&gt; &gt; new mtz file from now on and not use <br>&gt; xray_data.r_free_flags.generate=True&gt; anymore, is this correct ?<br>&gt; &gt;<br>&gt; &gt; &nbsp;Cheers,<br>&gt; &gt;<br>&gt; &gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Boaz<br>&gt; &gt; ----- Original Message -----<br>&gt; &gt; From: Peter Zwart &lt;phzwart@gmail.com&gt;<br>&gt; &gt; Date: Wednesday, May 6, 2009 17:52<br>&gt; &gt; Subject: Re: [phenixbb] Selection of R-free set for twin refinement<br>&gt; &gt; To: PHENIX user mailing list &lt;phenixbb@phenix-online.org&gt;<br>&gt; &gt;<br>&gt; &gt;&gt; Hi Boaz,<br>&gt; &gt;&gt;<br>&gt; &gt;&gt; The two options are equivalent and no twin law needs to be <br>&gt; specified&gt;&gt; in either case.<br>&gt; &gt;&gt;<br>&gt; &gt;&gt; SA should be possible with twin refinement.<br>&gt; &gt;&gt;<br>&gt; &gt;&gt; Cheers<br>&gt; &gt;&gt;<br>&gt; &gt;&gt; Peter<br>&gt; &gt;&gt;<br>&gt; &gt;&gt; 2009/5/6 Boaz Shaanan &lt;bshaanan@bgu.ac.il&gt;:<br>&gt; &gt;&gt; &gt; Hi,<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt; If I understand correctly, the Phenix manual suggests two<br>&gt; &gt;&gt; options for<br>&gt; &gt;&gt; &gt; selecting the R-free set for twin refinement. One is to do<br>&gt; &gt;&gt; this using the<br>&gt; &gt;&gt; &gt; phenix.reflection_file_converter with the parameter<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt; --use-lattice-symmetry-in-r-free-flag-generation<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt; which I suppose does not require input of the twin law. The<br>&gt; &gt;&gt; second is in the<br>&gt; &gt;&gt; &gt; actual refinement using the parameter<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt; xray_data.r_free_flags.generate=True<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt; in which case the twin law is part of the input. My first<br>&gt; &gt;&gt; question is<br>&gt; &gt;&gt; &gt; whether the two options<br>&gt; &gt;&gt; &gt; are truly equivalent. The second question is whether one can<br>&gt; &gt;&gt; go into either<br>&gt; &gt;&gt; &gt; of them with an mtz file<br>&gt; &gt;&gt; &gt; in which R-free set reflections have already been selected<br>&gt; &gt;&gt; (e.g. in scala or<br>&gt; &gt;&gt; &gt; XDS) without<br>&gt; &gt;&gt; &gt; any twinning assumption, or should one use a file without any<br>&gt; &gt;&gt; R-free set<br>&gt; &gt;&gt; &gt; altogether and let the<br>&gt; &gt;&gt; &gt; phenix script choose it from scratch, under the twinning <br>&gt; assumption.&gt;&gt; &gt;<br>&gt; &gt;&gt; &gt; Another (related) question is whether simulated annealing is<br>&gt; &gt;&gt; possible in<br>&gt; &gt;&gt; &gt; conjunction with<br>&gt; &gt;&gt; &gt; twin refinement.<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp; Thanks,<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Boaz<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt; ----- Original Message -----<br>&gt; &gt;&gt; &gt; From: Pavel Afonine &lt;PAfonine@lbl.gov&gt;<br>&gt; &gt;&gt; &gt; Date: Tuesday, May 5, 2009 4:53<br>&gt; &gt;&gt; &gt; Subject: Re: [phenixbb] ncs<br>&gt; &gt;&gt; &gt; To: PHENIX user mailing list &lt;phenixbb@phenix-online.org&gt;<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt;&gt; I see. I suggest to run two refinements:<br>&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; - with NCS and "optimize_wxc=true optimize_wxu=true" <br>&gt; options, and<br>&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; - without NCS and with "optimize_wxc=true optimize_wxu=true".<br>&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; This will make it weight-choice independent and so easier to<br>&gt; &gt;&gt; &gt;&gt; understand.<br>&gt; &gt;&gt; &gt;&gt; Otherwise, since NCS term is included in weights calculation,<br>&gt; &gt;&gt; &gt;&gt; using or<br>&gt; &gt;&gt; &gt;&gt; not using NCS may change the X-ray/Restrains weight which may<br>&gt; &gt;&gt; &gt;&gt; have<br>&gt; &gt;&gt; &gt;&gt; larger effects than using/not using NCS itself.<br>&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; Pavel.<br>&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; On 5/4/09 6:48 PM, Maia Cherney wrote:<br>&gt; &gt;&gt; &gt;&gt; &gt; Hi Pavel,<br>&gt; &gt;&gt; &gt;&gt; &gt; The resolution is 2.15 A. The NCS was always on during the<br>&gt; &gt;&gt; &gt;&gt; refinement<br>&gt; &gt;&gt; &gt;&gt; &gt; until we got low R factors (19.2% and 21.2%). Then the <br>&gt; NCS was<br>&gt; &gt;&gt; &gt;&gt; turned<br>&gt; &gt;&gt; &gt;&gt; &gt; off for the final refinement and the R factors increased,<br>&gt; &gt;&gt; &gt;&gt; which is<br>&gt; &gt;&gt; &gt;&gt; &gt; strange as they should be going down when you apply less<br>&gt; &gt;&gt; &gt;&gt; restraints.<br>&gt; &gt;&gt; &gt;&gt; &gt; There are five restraint groups in the asym. unit.<br>&gt; &gt;&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt;&gt; &gt; Maia<br>&gt; &gt;&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt;&gt; &gt; Pavel Afonine wrote:<br>&gt; &gt;&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt; Hi Maia,<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt; - I'm wondering why this puzzles you?<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt; - The gap Rfree-Rwork seems suspiciously small, <br>&gt; although I<br>&gt; &gt;&gt; &gt;&gt; can't tell<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt; without knowing the resolution.<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt; - Overall, better R-factors (Rwork, Rfree and Rfree-Rwork)<br>&gt; &gt;&gt; &gt;&gt; mean that<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt; among many possible refinement strategies you have <br>&gt; chosen the<br>&gt; &gt;&gt; &gt;&gt; one that<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt; is better than the others.<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt; What is the resolution?<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt; What are the R-factor&nbsp; before using NCS?<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt; What will be the R-factors after you turn NCS back off?<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt; Pavel.<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt; On 5/4/09 12:27 PM, Maia Cherney wrote:<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;&gt; Hi everybody,<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;&gt; I am wondering why my final structure refined with NCS=True<br>&gt; &gt;&gt; &gt;&gt; has lower&nbsp; R<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;&gt; factors (19.2% and 21.2%) than without NCS by<br>&gt; &gt;&gt; approximately 1.5%.<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;&gt; Leo<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;&gt; _______________________________________________<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;&gt; phenixbb mailing list<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;&gt; phenixbb@phenix-online.org<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;&gt; http://www.phenix-online.org/mailman/listinfo/phenixbb<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt; _______________________________________________<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt; phenixbb mailing list<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt; phenixbb@phenix-online.org<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt; http://www.phenix-online.org/mailman/listinfo/phenixbb<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt;&gt; &gt; _______________________________________________<br>&gt; &gt;&gt; &gt;&gt; &gt; phenixbb mailing list<br>&gt; &gt;&gt; &gt;&gt; &gt; phenixbb@phenix-online.org<br>&gt; &gt;&gt; &gt;&gt; &gt; http://www.phenix-online.org/mailman/listinfo/phenixbb<br>&gt; &gt;&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt; Boaz Shaanan, Ph.D.<br>&gt; &gt;&gt; &gt; Dept. of Life Sciences<br>&gt; &gt;&gt; &gt; Ben-Gurion University of the Negev<br>&gt; &gt;&gt; &gt; Beer-Sheva 84105<br>&gt; &gt;&gt; &gt; Israel<br>&gt; &gt;&gt; &gt; Phone: 972-8-647-2220 ; Fax: 646-1710<br>&gt; &gt;&gt; &gt; Skype: boaz.shaanan<br>&gt; &gt;&gt; &gt; _______________________________________________<br>&gt; &gt;&gt; &gt; phenixbb mailing list<br>&gt; &gt;&gt; &gt; phenixbb@phenix-online.org<br>&gt; &gt;&gt; &gt; http://www.phenix-online.org/mailman/listinfo/phenixbb<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt;<br>&gt; &gt;&gt;<br>&gt; &gt;&gt;<br>&gt; &gt;&gt; --<br>&gt; &gt;&gt; --------------------------------------------------------------<br>&gt; ---<br>&gt; &gt;&gt; P.H. Zwart<br>&gt; &gt;&gt; Beamline Scientist<br>&gt; &gt;&gt; Berkeley Center for Structural Biology<br>&gt; &gt;&gt; Lawrence Berkeley National Laboratories<br>&gt; &gt;&gt; 1 Cyclotron Road, Berkeley, CA-94703, USA<br>&gt; &gt;&gt; Cell: 510 289 9246<br>&gt; &gt;&gt; BCSB:&nbsp;&nbsp;&nbsp;&nbsp; http://bcsb.als.lbl.gov<br>&gt; &gt;&gt; PHENIX: http://www.phenix-online.org<br>&gt; &gt;&gt; CCTBX:&nbsp; http://cctbx.sf.net<br>&gt; &gt;&gt; --------------------------------------------------------------<br>&gt; ---<br>&gt; &gt;&gt;<br>&gt; &gt;&gt; _______________________________________________<br>&gt; &gt;&gt; phenixbb mailing list<br>&gt; &gt;&gt; phenixbb@phenix-online.org<br>&gt; &gt;&gt; http://www.phenix-online.org/mailman/listinfo/phenixbb<br>&gt; &gt;&gt;<br>&gt; &gt;<br>&gt; &gt; Boaz Shaanan, Ph.D.<br>&gt; &gt; Dept. of Life Sciences<br>&gt; &gt; Ben-Gurion University of the Negev<br>&gt; &gt; Beer-Sheva 84105<br>&gt; &gt; Israel<br>&gt; &gt; Phone: 972-8-647-2220 ; Fax: 646-1710<br>&gt; &gt; Skype: boaz.shaanan<br>&gt; &gt; _______________________________________________<br>&gt; &gt; phenixbb mailing list<br>&gt; &gt; phenixbb@phenix-online.org<br>&gt; &gt; http://www.phenix-online.org/mailman/listinfo/phenixbb<br>&gt; &gt;<br>&gt; &gt;<br>&gt; <br>&gt; <br>&gt; <br>&gt; -- <br>&gt; -----------------------------------------------------------------<br>&gt; P.H. Zwart<br>&gt; Beamline Scientist<br>&gt; Berkeley Center for Structural Biology<br>&gt; Lawrence Berkeley National Laboratories<br>&gt; 1 Cyclotron Road, Berkeley, CA-94703, USA<br>&gt; Cell: 510 289 9246<br>&gt; BCSB:&nbsp;&nbsp;&nbsp;&nbsp; http://bcsb.als.lbl.gov<br>&gt; PHENIX: http://www.phenix-online.org<br>&gt; CCTBX:&nbsp; http://cctbx.sf.net<br>&gt; -----------------------------------------------------------------<br>&gt; <br>&gt; _______________________________________________<br>&gt; phenixbb mailing list<br>&gt; phenixbb@phenix-online.org<br>&gt; http://www.phenix-online.org/mailman/listinfo/phenixbb<br>&gt; <BR><BR>Boaz Shaanan, Ph.D.<br>Dept. of Life Sciences<br>Ben-Gurion University of the Negev<br>Beer-Sheva 84105<br>Israel<br>Phone: 972-8-647-2220 ; Fax: 646-1710<br>Skype: boaz.shaanan</BR></BR>‎