Während man Interessen, politische Einstellungen und bestimmte Lebensgewohnheiten schnell abfragen kann, lassen sich manche Charaktereigenschaften erst nach einiger Zeit erkennen. Es stellt sich also die Frage, wo die Grenzen derartiger Persönlichkeitstests liegen. Dazu sagt der Professor für Persönlichkeitspsychologie an der Universität Jena Franz J. Neyer: „Für ein oberflächliches Screening der individuellen Besonderheiten von Singles sind diese Persönlichkeitstests durchaus geeignet. Eine tiefergehende Persönlichkeitsdiagnostik ist damit nicht möglich.“
Um ein möglichst objektives Persönlichkeitsprofil zu erstellen, arbeiten die Tests auch mit indirekten Fragen. So soll vermieden werden, dass subjektive, ungenaue oder sogar verzerrte Selbsteinschätzungen im Vordergrund stehen. Es ist durchaus möglich, dass sich das wissenschaftlich fundierte Persönlichkeitsprofil deutlich vom Selbstbild unterscheidet. Der Psychologe Neyer hingegen findet es überflüssig, Testergebnisse von solchen Selbstdarstellungstendenzen zu bereinigen. Denn, so argumentiert er: „Selbstbeurteilungen der Persönlichkeit können durch Tendenzen der sozialen Erwünschtheit beeinflusst werden.“ Natürlich, ergänzt er, stellten sich Menschen in einer Bewerbungssituation oder auf Partnersuche in einem guten Licht dar. Doch wer sich anderen gegenüber gut darstellen könne, gelte auch als sozial kompetent und habe vielleicht gerade deshalb bessere Chancen.
Romantiker und Kritiker von Internet-Partnervermittlungen stört meist die automatisierte Auswertung und die Tatsache, dass potenzielle Partner durch einen Computeralgorithmus vorgeschlagen werden. Neyer entgegnet darauf, dass die automatisierte Auswertung solcher Tests durchaus möglich sei. „Auch die Darstellung der Testergebnisse als Persönlichkeitsprofil ist in der Persönlichkeitsdiagnostik absolut üblich. Allerdings ist ein solches Profil nur dann interpretierbar, wenn individuelle Testwerte mit Referenzwerten altersgleicher Personen innerhalb einer Kultur verglichen werden“, sagt er.