Calculated p-values for Wilcoxon signed rank tests. Methods are compared in terms of the observed model quality of the top ranked models for each target.






























The null hypothesis is that the method in the row produces models that are equal or lower in quality than those produced by the method in the column, according to the GDT-TS score.




























The alternative hypothesis is that the method in the row produces higher quality models than the method in the column, according to the GDT-TS score.






























Grey cells highlight values of p < 0.01, indicating significantly better performance of the method in the row compared to that of the method in the column.






























A common subset of 42 methods was tested using 123 CASP8 targets.











































































ModFOLDclust Zhang-Server ModFOLDv2_0 RAPTOR pro-sp3-TASSER METATASSER HHpred5 Phyre_de_novo MULTICOM-REFINE MUProt MULTICOM-CLUSTER BAKER-ROBETTA HHpred2 HHpred4 MULTICOM-RANK MUSTER GS-KudlatyPred FAMSD SAM-T08-server MULTICOM-CMFR Pcons_multi ModFOLDv1_1 COMA-M PS2-server circle 3DShot2 FEIG FFASsuboptimal PSI Phyre2 COMA FFASstandard FALCON nFOLD3 Phragment mGenTHREADER Poing 3D-JIGSAW_V3 3D-JIGSAW_AEP SAM-T06-server MUFOLD-Server FOLDpro Mean p-value
ModFOLDclust 1.000 0.129 0.122 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.0298
Zhang-Server 0.871 1.000 0.170 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.0486
ModFOLDv2_0 0.879 0.831 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.0645
RAPTOR 1.000 1.000 1.000 1.000 0.266 0.243 0.281 0.120 0.090 0.061 0.055 0.022 0.019 0.016 0.009 0.002 0.000 0.000 0.000 0.000 0.000 0.003 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.1235
pro-sp3-TASSER 1.000 1.000 1.000 0.735 1.000 0.549 0.420 0.375 0.225 0.086 0.076 0.118 0.100 0.021 0.009 0.006 0.001 0.012 0.000 0.000 0.000 0.010 0.000 0.000 0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.1606
METATASSER 1.000 1.000 1.000 0.758 0.452 1.000 0.353 0.420 0.362 0.193 0.192 0.232 0.069 0.025 0.018 0.004 0.003 0.013 0.002 0.002 0.001 0.023 0.000 0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.1697
HHpred5 1.000 1.000 1.000 0.720 0.581 0.648 1.000 0.422 0.337 0.276 0.224 0.098 0.027 0.001 0.077 0.012 0.010 0.012 0.029 0.009 0.003 0.047 0.001 0.002 0.006 0.000 0.002 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.1796
Phyre_de_novo 1.000 1.000 1.000 0.881 0.626 0.581 0.579 1.000 0.278 0.117 0.111 0.240 0.055 0.052 0.016 0.003 0.010 0.019 0.004 0.002 0.000 0.013 0.000 0.000 0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.1807
MULTICOM-REFINE 1.000 1.000 1.000 0.910 0.776 0.639 0.664 0.723 1.000 0.224 0.105 0.220 0.089 0.116 0.045 0.007 0.005 0.016 0.021 0.001 0.002 0.009 0.001 0.000 0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.2042
MUProt 1.000 1.000 1.000 0.939 0.915 0.808 0.725 0.883 0.777 1.000 0.396 0.381 0.136 0.196 0.054 0.030 0.008 0.032 0.018 0.001 0.013 0.035 0.002 0.001 0.002 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.2465
MULTICOM-CLUSTER 1.000 1.000 1.000 0.945 0.924 0.809 0.777 0.889 0.895 0.605 1.000 0.613 0.251 0.209 0.042 0.068 0.017 0.085 0.025 0.005 0.009 0.009 0.005 0.004 0.008 0.000 0.002 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.2666
BAKER-ROBETTA 1.000 1.000 1.000 0.978 0.882 0.768 0.902 0.761 0.780 0.620 0.388 1.000 0.299 0.238 0.174 0.085 0.137 0.141 0.040 0.014 0.024 0.072 0.066 0.008 0.015 0.001 0.006 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.2714
HHpred2 1.000 1.000 1.000 0.981 0.900 0.931 0.973 0.945 0.911 0.865 0.750 0.702 1.000 0.099 0.423 0.170 0.125 0.084 0.304 0.140 0.022 0.071 0.017 0.032 0.019 0.002 0.012 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.3209
HHpred4 1.000 1.000 1.000 0.984 0.979 0.975 0.999 0.948 0.884 0.805 0.792 0.762 0.902 1.000 0.460 0.199 0.366 0.153 0.331 0.127 0.143 0.129 0.056 0.047 0.016 0.010 0.009 0.000 0.000 0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.3590
MULTICOM-RANK 1.000 1.000 1.000 0.991 0.991 0.982 0.924 0.984 0.956 0.946 0.958 0.827 0.578 0.541 1.000 0.273 0.280 0.259 0.260 0.057 0.186 0.040 0.069 0.024 0.053 0.014 0.029 0.002 0.000 0.002 0.000 0.000 0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.3625
MUSTER 1.000 1.000 1.000 0.998 0.994 0.996 0.988 0.997 0.993 0.970 0.932 0.916 0.830 0.802 0.728 1.000 0.369 0.305 0.333 0.313 0.280 0.240 0.169 0.079 0.039 0.047 0.050 0.003 0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.4136
GS-KudlatyPred 1.000 1.000 1.000 1.000 0.999 0.997 0.990 0.990 0.995 0.992 0.983 0.863 0.875 0.635 0.721 0.632 1.000 0.338 0.515 0.314 0.178 0.194 0.177 0.112 0.048 0.010 0.088 0.007 0.000 0.001 0.000 0.000 0.002 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.4204
FAMSD 1.000 1.000 1.000 1.000 0.988 0.987 0.988 0.981 0.984 0.968 0.915 0.859 0.916 0.848 0.742 0.696 0.663 1.000 0.200 0.172 0.186 0.220 0.148 0.109 0.005 0.011 0.044 0.020 0.006 0.001 0.000 0.000 0.003 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.4205
SAM-T08-server 1.000 1.000 1.000 1.000 1.000 0.998 0.971 0.996 0.979 0.982 0.975 0.960 0.697 0.670 0.741 0.668 0.486 0.801 1.000 0.570 0.402 0.297 0.058 0.230 0.308 0.054 0.071 0.012 0.001 0.001 0.000 0.000 0.002 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.4508
MULTICOM-CMFR 1.000 1.000 1.000 1.000 1.000 0.998 0.991 0.998 0.999 0.999 0.995 0.986 0.861 0.874 0.943 0.688 0.687 0.828 0.431 1.000 0.502 0.305 0.201 0.338 0.215 0.070 0.112 0.028 0.002 0.005 0.000 0.001 0.007 0.000 0.002 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.4778
Pcons_multi 1.000 1.000 1.000 1.000 1.000 0.999 0.997 1.000 0.998 0.988 0.992 0.977 0.978 0.857 0.814 0.721 0.822 0.815 0.599 0.499 1.000 0.506 0.310 0.364 0.286 0.088 0.284 0.060 0.007 0.010 0.002 0.001 0.006 0.001 0.003 0.000 0.001 0.000 0.000 0.000 0.000 0.000 0.4996
ModFOLDv1_1 1.000 1.000 1.000 0.997 0.990 0.977 0.953 0.988 0.991 0.965 0.991 0.928 0.929 0.872 0.960 0.761 0.806 0.781 0.704 0.696 0.495 1.000 0.504 0.436 0.361 0.188 0.146 0.268 0.114 0.157 0.091 0.062 0.040 0.018 0.043 0.035 0.010 0.091 0.115 0.001 0.000 0.000 0.5349
COMA-M 1.000 1.000 1.000 1.000 1.000 1.000 0.999 1.000 0.999 0.998 0.995 0.935 0.983 0.944 0.932 0.832 0.824 0.853 0.942 0.799 0.691 0.497 1.000 0.393 0.273 0.167 0.284 0.085 0.014 0.041 0.000 0.001 0.021 0.006 0.010 0.000 0.005 0.001 0.000 0.000 0.000 0.000 0.5363
PS2-server 1.000 1.000 1.000 1.000 1.000 0.999 0.998 1.000 1.000 0.999 0.996 0.992 0.968 0.954 0.976 0.921 0.889 0.892 0.771 0.663 0.637 0.565 0.608 1.000 0.432 0.181 0.358 0.115 0.030 0.015 0.012 0.001 0.017 0.001 0.002 0.001 0.000 0.001 0.000 0.000 0.000 0.000 0.5475
circle 1.000 1.000 1.000 1.000 0.999 1.000 0.994 0.999 0.999 0.998 0.992 0.985 0.982 0.984 0.947 0.961 0.952 0.995 0.693 0.786 0.715 0.640 0.728 0.569 1.000 0.275 0.540 0.118 0.104 0.045 0.023 0.011 0.017 0.007 0.017 0.001 0.005 0.003 0.003 0.000 0.000 0.000 0.5735
3DShot2 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 0.998 0.990 0.987 0.953 0.991 0.989 0.947 0.930 0.912 0.813 0.833 0.820 0.726 1.000 0.610 0.267 0.083 0.125 0.010 0.035 0.054 0.015 0.035 0.002 0.014 0.006 0.002 0.000 0.000 0.000 0.6225
FEIG 1.000 1.000 1.000 1.000 1.000 1.000 0.998 1.000 1.000 1.000 0.998 0.995 0.988 0.991 0.972 0.951 0.912 0.956 0.930 0.889 0.716 0.855 0.717 0.643 0.461 0.391 1.000 0.554 0.204 0.352 0.091 0.125 0.303 0.007 0.212 0.032 0.102 0.010 0.020 0.001 0.000 0.000 0.6279
FFASsuboptimal 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.998 0.997 0.993 0.980 0.988 0.972 0.941 0.733 0.916 0.886 0.883 0.733 0.447 1.000 0.212 0.212 0.125 0.001 0.050 0.073 0.039 0.033 0.021 0.023 0.011 0.000 0.000 0.000 0.6492
PSI 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 1.000 0.994 0.999 0.998 0.993 0.887 0.986 0.970 0.897 0.918 0.796 0.789 1.000 0.303 0.430 0.335 0.204 0.097 0.134 0.087 0.040 0.032 0.071 0.001 0.000 0.000 0.7133
Phyre2 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 0.998 1.000 0.999 0.999 0.999 0.995 0.991 0.844 0.959 0.985 0.956 0.875 0.649 0.789 0.698 1.000 0.267 0.232 0.213 0.271 0.082 0.090 0.013 0.089 0.090 0.000 0.000 0.000 0.7163
COMA 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.998 0.909 1.000 0.988 0.977 0.990 0.909 0.876 0.571 0.734 1.000 0.318 0.432 0.298 0.360 0.305 0.244 0.149 0.212 0.005 0.000 0.000 0.7685
FFASstandard 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 0.999 0.938 0.999 0.999 0.989 0.965 0.876 0.999 0.666 0.769 0.682 1.000 0.395 0.493 0.341 0.367 0.175 0.242 0.199 0.003 0.000 0.000 0.7880
FALCON 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 1.000 0.998 0.997 0.998 0.993 0.994 0.960 0.979 0.983 0.983 0.946 0.698 0.950 0.797 0.788 0.569 0.606 1.000 0.524 0.501 0.455 0.312 0.266 0.221 0.038 0.000 0.000 0.7989
nFOLD3 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 0.982 0.994 0.999 0.993 0.985 0.993 0.927 0.903 0.730 0.702 0.508 0.477 1.000 0.467 0.347 0.321 0.327 0.297 0.014 0.000 0.000 0.8087
Phragment 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.998 0.997 0.958 0.990 0.998 0.983 0.966 0.789 0.961 0.866 0.919 0.641 0.660 0.500 0.534 1.000 0.297 0.272 0.347 0.214 0.004 0.000 0.000 0.8069
mGenTHREADER 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.965 1.000 0.999 0.999 0.998 0.968 0.967 0.914 0.910 0.696 0.634 0.546 0.654 0.704 1.000 0.551 0.240 0.317 0.003 0.000 0.000 0.8348
Poing 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 0.990 0.995 1.000 0.995 0.986 0.899 0.979 0.960 0.987 0.757 0.826 0.688 0.679 0.730 0.451 1.000 0.514 0.376 0.018 0.000 0.000 0.8530
3D-JIGSAW_V3 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.909 0.999 0.999 0.997 0.994 0.990 0.977 0.968 0.911 0.852 0.759 0.735 0.674 0.654 0.760 0.487 1.000 0.449 0.044 0.000 0.000 0.8609
3D-JIGSAW_AEP 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.885 1.000 1.000 0.997 0.998 0.980 0.989 0.929 0.910 0.789 0.801 0.780 0.704 0.787 0.684 0.625 0.552 1.000 0.046 0.000 0.000 0.8680
SAM-T06-server 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.999 1.000 1.000 1.000 1.000 0.999 1.000 0.999 1.000 0.995 0.997 0.962 0.986 0.996 0.997 0.982 0.956 0.954 1.000 0.000 0.000 0.9482
MUFOLD-Server 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.9762
FOLDpro 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.0000
Mean p-value 0.9941 0.9752 0.9593 0.9004 0.8634 0.8543 0.8444 0.8433 0.8198 0.7776 0.7574 0.7526 0.7031 0.6650 0.6615 0.6104 0.6037 0.6036 0.5733 0.5463 0.5245 0.4893 0.4877 0.4766 0.4506 0.4015 0.3962 0.3748 0.3107 0.3078 0.2556 0.2360 0.2252 0.2153 0.2171 0.1892 0.1710 0.1631 0.1560 0.0757 0.0476 0.0238