Calculated p-values for Wilcoxon signed rank tests. Methods are compared in terms of the observed model quality of the top ranked models for each target.
































The null hypothesis is that the method in the row produces models that are equal or lower in quality than those produced by the method in the column, according to the GDT-TS score.






























The alternative hypothesis is that the method in the row produces higher quality models than the method in the column, according to the GDT-TS score.
































Grey cells highlight values of p < 0.01, indicating significantly better performance of the method in the row compared to that of the method in the column.
































A common subset of 44 methods was tested using 93 CASP8 targets.















































































ModFOLDclust Zhang-Server McGuffin pro-sp3-TASSER METATASSER HHpred5 RAPTOR MULTICOM-REFINE Phyre_de_novo MUProt MULTICOM-CLUSTER BAKER-ROBETTA HHpred2 HHpred4 MULTICOM-RANK GS-KudlatyPred FAMSD SAM-T08-server Pcons_multi MULTICOM-CMFR COMA-M MUSTER circle ModFOLDv1_1 PS2-server FFASsuboptimal 3DShot2 FEIG Phyre2 PSI FALCON COMA FFASflextemplate FFASstandard 3D-JIGSAW_AEP Phragment 3D-JIGSAW_V3 nFOLD3 mGenTHREADER Poing SAM-T06-server ACOMPMOD MUFOLD-Server FOLDpro Mean p-value
ModFOLDclust 1.000 0.406 0.231 0.000 0.000 0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.037
Zhang-Server 0.595 1.000 0.124 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.039
McGuffin 0.770 0.877 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.060
pro-sp3-TASSER 1.000 1.000 1.000 1.000 0.550 0.529 0.362 0.313 0.174 0.095 0.129 0.112 0.094 0.053 0.014 0.004 0.019 0.001 0.001 0.001 0.000 0.000 0.003 0.009 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.147
METATASSER 1.000 1.000 1.000 0.452 1.000 0.404 0.381 0.346 0.338 0.140 0.199 0.224 0.111 0.054 0.037 0.015 0.032 0.014 0.006 0.011 0.000 0.001 0.002 0.037 0.004 0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.155
HHpred5 0.999 1.000 1.000 0.472 0.598 1.000 0.527 0.372 0.349 0.309 0.265 0.210 0.116 0.010 0.079 0.022 0.022 0.077 0.022 0.028 0.004 0.003 0.015 0.065 0.002 0.000 0.001 0.004 0.000 0.000 0.002 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.172
RAPTOR 1.000 1.000 1.000 0.640 0.621 0.475 1.000 0.406 0.243 0.333 0.280 0.146 0.254 0.112 0.078 0.007 0.007 0.011 0.013 0.015 0.003 0.004 0.003 0.036 0.000 0.002 0.000 0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.175
MULTICOM-REFINE 1.000 1.000 1.000 0.688 0.655 0.629 0.595 1.000 0.620 0.353 0.042 0.210 0.118 0.158 0.064 0.008 0.029 0.023 0.013 0.001 0.002 0.001 0.004 0.010 0.000 0.000 0.000 0.001 0.000 0.000 0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.187
Phyre_de_novo 1.000 1.000 1.000 0.827 0.664 0.652 0.758 0.381 1.000 0.210 0.166 0.418 0.303 0.153 0.096 0.041 0.086 0.033 0.007 0.028 0.003 0.002 0.007 0.048 0.003 0.001 0.000 0.002 0.000 0.000 0.003 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.202
MUProt 1.000 1.000 1.000 0.905 0.861 0.693 0.668 0.649 0.791 1.000 0.367 0.434 0.223 0.279 0.060 0.011 0.065 0.030 0.041 0.001 0.006 0.002 0.006 0.057 0.001 0.000 0.000 0.003 0.001 0.000 0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.231
MULTICOM-CLUSTER 1.000 1.000 1.000 0.871 0.802 0.736 0.722 0.958 0.835 0.635 1.000 0.484 0.244 0.242 0.093 0.012 0.097 0.047 0.036 0.019 0.007 0.005 0.015 0.015 0.001 0.000 0.000 0.004 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.247
BAKER-ROBETTA 1.000 1.000 1.000 0.889 0.777 0.791 0.855 0.792 0.584 0.567 0.517 1.000 0.437 0.174 0.244 0.209 0.144 0.105 0.126 0.025 0.094 0.010 0.051 0.099 0.008 0.002 0.003 0.010 0.001 0.000 0.006 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.262
HHpred2 1.000 1.000 1.000 0.907 0.890 0.885 0.748 0.882 0.698 0.778 0.757 0.565 1.000 0.082 0.474 0.090 0.083 0.340 0.127 0.168 0.019 0.010 0.038 0.089 0.020 0.001 0.003 0.013 0.000 0.000 0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.288
HHpred4 1.000 1.000 1.000 0.948 0.947 0.990 0.889 0.843 0.848 0.722 0.759 0.827 0.919 1.000 0.361 0.335 0.171 0.331 0.245 0.106 0.067 0.033 0.051 0.123 0.016 0.004 0.010 0.012 0.001 0.001 0.003 0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.331
MULTICOM-RANK 1.000 1.000 1.000 0.986 0.963 0.922 0.923 0.936 0.905 0.941 0.908 0.757 0.527 0.641 1.000 0.320 0.206 0.252 0.312 0.097 0.058 0.052 0.057 0.081 0.022 0.012 0.007 0.038 0.009 0.001 0.012 0.000 0.000 0.000 0.000 0.002 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.340
GS-KudlatyPred 1.000 1.000 1.000 0.996 0.986 0.979 0.993 0.992 0.960 0.989 0.988 0.792 0.911 0.667 0.681 1.000 0.387 0.506 0.461 0.332 0.190 0.255 0.095 0.222 0.059 0.048 0.012 0.138 0.015 0.003 0.016 0.002 0.001 0.001 0.000 0.009 0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.402
FAMSD 1.000 1.000 1.000 0.982 0.968 0.978 0.993 0.971 0.915 0.936 0.904 0.857 0.917 0.830 0.795 0.614 1.000 0.420 0.471 0.175 0.186 0.231 0.009 0.250 0.051 0.125 0.019 0.087 0.009 0.026 0.026 0.002 0.002 0.001 0.000 0.002 0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.404
SAM-T08-server 1.000 1.000 1.000 0.999 0.986 0.923 0.989 0.977 0.967 0.970 0.954 0.895 0.662 0.670 0.750 0.495 0.581 1.000 0.498 0.587 0.094 0.207 0.302 0.281 0.108 0.030 0.043 0.047 0.005 0.002 0.009 0.001 0.001 0.001 0.002 0.002 0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.410
Pcons_multi 1.000 1.000 1.000 0.999 0.994 0.978 0.988 0.987 0.993 0.959 0.965 0.875 0.874 0.756 0.689 0.540 0.531 0.504 1.000 0.342 0.246 0.091 0.249 0.402 0.106 0.139 0.040 0.179 0.034 0.010 0.033 0.004 0.006 0.008 0.001 0.011 0.003 0.002 0.000 0.002 0.000 0.000 0.000 0.000 0.421
MULTICOM-CMFR 1.000 1.000 1.000 0.999 0.989 0.972 0.985 0.999 0.973 0.999 0.981 0.976 0.833 0.895 0.903 0.670 0.826 0.414 0.659 1.000 0.229 0.266 0.262 0.297 0.212 0.118 0.035 0.097 0.028 0.007 0.040 0.004 0.010 0.007 0.006 0.015 0.005 0.001 0.000 0.001 0.000 0.000 0.000 0.000 0.448
COMA-M 1.000 1.000 1.000 1.000 1.000 0.996 0.997 0.998 0.997 0.995 0.993 0.906 0.981 0.933 0.942 0.811 0.815 0.907 0.755 0.772 1.000 0.393 0.354 0.482 0.219 0.304 0.161 0.234 0.101 0.046 0.116 0.000 0.021 0.010 0.008 0.041 0.010 0.019 0.001 0.015 0.000 0.000 0.000 0.000 0.508
MUSTER 1.000 1.000 1.000 1.000 0.999 0.997 0.996 0.999 0.998 0.998 0.995 0.990 0.990 0.967 0.949 0.746 0.770 0.794 0.909 0.735 0.608 1.000 0.334 0.481 0.359 0.257 0.266 0.198 0.066 0.084 0.061 0.046 0.020 0.017 0.044 0.020 0.011 0.014 0.003 0.001 0.001 0.000 0.000 0.000 0.516
circle 1.000 1.000 1.000 0.997 0.998 0.985 0.997 0.996 0.993 0.995 0.986 0.949 0.963 0.949 0.944 0.906 0.991 0.700 0.752 0.739 0.648 0.667 1.000 0.550 0.338 0.253 0.201 0.540 0.133 0.187 0.087 0.089 0.063 0.036 0.037 0.057 0.033 0.014 0.002 0.011 0.002 0.000 0.000 0.000 0.541
ModFOLDv1_1 1.000 1.000 1.000 0.991 0.964 0.935 0.965 0.991 0.953 0.943 0.985 0.902 0.912 0.878 0.920 0.779 0.751 0.721 0.599 0.704 0.519 0.521 0.452 1.000 0.414 0.460 0.196 0.177 0.444 0.162 0.234 0.164 0.257 0.161 0.303 0.221 0.182 0.040 0.067 0.047 0.023 0.000 0.000 0.000 0.544
PS2-server 1.000 1.000 1.000 1.000 0.996 0.998 1.000 1.000 0.997 0.999 0.999 0.992 0.981 0.984 0.978 0.942 0.950 0.893 0.895 0.789 0.782 0.643 0.664 0.588 1.000 0.476 0.287 0.452 0.114 0.181 0.238 0.088 0.040 0.035 0.024 0.020 0.056 0.010 0.008 0.001 0.000 0.000 0.000 0.000 0.570
FFASsuboptimal 1.000 1.000 1.000 1.000 0.999 1.000 0.998 1.000 0.999 1.000 1.000 0.998 0.999 0.996 0.988 0.953 0.876 0.970 0.862 0.883 0.698 0.745 0.749 0.542 0.525 1.000 0.397 0.269 0.182 0.170 0.146 0.112 0.002 0.000 0.062 0.047 0.072 0.054 0.024 0.011 0.005 0.000 0.000 0.000 0.576
3DShot2 1.000 1.000 1.000 1.000 1.000 0.999 1.000 1.000 1.000 1.000 1.000 0.997 0.997 0.990 0.993 0.988 0.982 0.957 0.960 0.966 0.840 0.735 0.800 0.805 0.714 0.605 1.000 0.601 0.396 0.142 0.315 0.073 0.254 0.197 0.051 0.170 0.070 0.028 0.011 0.045 0.016 0.000 0.000 0.000 0.629
FEIG 1.000 1.000 1.000 1.000 1.000 0.996 0.999 0.999 0.998 0.997 0.996 0.990 0.987 0.988 0.962 0.863 0.913 0.953 0.822 0.903 0.767 0.803 0.461 0.824 0.550 0.732 0.400 1.000 0.560 0.314 0.581 0.172 0.247 0.269 0.117 0.432 0.055 0.025 0.027 0.162 0.016 0.000 0.000 0.000 0.634
Phyre2 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 1.000 0.999 1.000 0.999 0.991 0.985 0.991 0.995 0.966 0.972 0.900 0.934 0.868 0.558 0.887 0.819 0.605 0.441 1.000 0.474 0.324 0.400 0.306 0.243 0.340 0.043 0.271 0.191 0.046 0.002 0.007 0.000 0.000 0.000 0.672
PSI 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 0.999 0.997 0.974 0.998 0.990 0.993 0.955 0.917 0.814 0.839 0.821 0.831 0.859 0.688 0.527 1.000 0.490 0.514 0.481 0.302 0.263 0.313 0.106 0.116 0.077 0.061 0.029 0.000 0.000 0.000 0.703
FALCON 1.000 1.000 1.000 1.000 1.000 0.998 1.000 0.999 0.997 0.999 1.000 0.994 0.999 0.997 0.988 0.984 0.974 0.991 0.967 0.960 0.885 0.940 0.913 0.767 0.763 0.855 0.686 0.421 0.678 0.512 1.000 0.448 0.392 0.367 0.338 0.380 0.372 0.315 0.192 0.133 0.146 0.000 0.000 0.000 0.713
COMA 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 1.000 0.998 0.998 0.999 0.996 0.996 1.000 0.954 0.912 0.837 0.913 0.889 0.927 0.829 0.602 0.488 0.553 1.000 0.397 0.423 0.455 0.328 0.366 0.246 0.226 0.166 0.051 0.000 0.000 0.000 0.740
FFASflextemplate 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 0.998 0.999 0.994 0.990 0.979 0.980 0.937 0.744 0.961 0.998 0.748 0.754 0.696 0.521 0.610 0.605 1.000 0.545 0.559 0.315 0.566 0.484 0.203 0.119 0.035 0.000 0.000 0.000 0.758
FFASstandard 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 0.999 0.999 0.992 0.993 0.990 0.983 0.965 0.840 0.965 1.000 0.804 0.733 0.759 0.699 0.634 0.578 0.457 1.000 0.517 0.405 0.517 0.406 0.305 0.142 0.041 0.000 0.000 0.000 0.766
3D-JIGSAW_AEP 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.998 0.999 0.994 0.992 0.957 0.964 0.698 0.976 0.939 0.949 0.884 0.661 0.738 0.663 0.546 0.442 0.485 1.000 0.480 0.421 0.404 0.291 0.224 0.141 0.000 0.000 0.000 0.769
Phragment 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.998 0.991 0.998 0.998 0.989 0.986 0.960 0.980 0.943 0.781 0.981 0.954 0.831 0.570 0.958 0.688 0.622 0.673 0.687 0.597 0.521 1.000 0.576 0.424 0.196 0.058 0.056 0.000 0.000 0.000 0.773
3D-JIGSAW_V3 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 0.999 0.999 0.997 0.995 0.990 0.989 0.968 0.819 0.945 0.928 0.930 0.945 0.730 0.894 0.629 0.635 0.436 0.484 0.580 0.426 1.000 0.383 0.402 0.206 0.111 0.000 0.000 0.000 0.782
nFOLD3 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.998 0.999 0.981 0.986 0.987 0.961 0.990 0.947 0.972 0.975 0.810 0.885 0.687 0.755 0.518 0.595 0.598 0.578 0.619 1.000 0.315 0.301 0.107 0.000 0.000 0.000 0.808
mGenTHREADER 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 0.997 0.998 0.933 0.992 0.976 0.989 0.974 0.955 0.924 0.809 0.776 0.798 0.697 0.711 0.805 0.600 0.687 1.000 0.517 0.128 0.000 0.000 0.000 0.847
Poing 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.998 0.999 0.986 0.999 0.989 0.953 0.999 0.989 0.955 0.839 0.998 0.939 0.868 0.835 0.882 0.859 0.777 0.942 0.795 0.700 0.485 1.000 0.195 0.000 0.000 0.000 0.863
SAM-T06-server 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 0.998 0.978 1.000 0.995 0.984 0.984 0.993 0.972 0.855 0.949 0.966 0.959 0.860 0.944 0.890 0.894 0.873 0.806 1.000 0.000 0.000 0.000 0.907
ACOMPMOD 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.239 0.000 0.960
MUFOLD-Server 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.762 1.000 0.001 0.972
FOLDpro 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 1.000 1.000
Mean p-value 0.986 0.984 0.963 0.876 0.868 0.851 0.848 0.836 0.821 0.792 0.776 0.761 0.735 0.692 0.683 0.621 0.620 0.613 0.602 0.575 0.516 0.507 0.483 0.480 0.453 0.447 0.394 0.390 0.352 0.320 0.311 0.283 0.266 0.257 0.254 0.250 0.241 0.215 0.176 0.160 0.116 0.063 0.051 0.023 -