IR-Systeme bzw. Komponenten von IR-Systemen können nach verschiedenen Kriterien beurteilt werden:
Effizienz: Hierbei handelt es sich um Fragen hinsichtlich des notwendigen Speicherplatzes, der Anzahl an Ein- und Ausgabeoperationen oder den Antwortzeiten, die möglichst gering gehalten werden sollten. Diese Punkte können bei genügend genauer Analyse der verwendeten Algorithmen weitgehend analytisch und durch Benchmarktests geklärt werden.
Effektivität: Interessant ist in diesem Zusammenhang die Qualität des mit möglichst wenig Aufwand an Zeit und Anstrengung erzielten Ergebnisses. Zentral ist hier der Begriff der Relevanz der Ergebnisse hinsichtlich einer gegebenen Anfrage. Da in die Definition der Effektivität häufig auch noch der Informationsbedarf des Benutzers einbezogen wird, ist diese Frage weitgehend nur empirisch zu beantworten.

Weitere Bewertungskriterien können sein:

Bedienfreundlichkeit: Hier geht es in erster Linie um die Benutzeroberfläche, die dem Informationssuchenden einen möglichst problemlosen Zugriff auf die Dokumente ermöglichen soll. Interessant ist hierbei auch die Frage nach der Art der Interaktion (direktmanipulativ, menügesteuert, natürlichsprachlich) bzw. dem Modus (gesprochen - geschrieben).
Anfragesprache: Die Anfrage kann in natürlicher Sprache, in einer formalen Sprache, einsprachig oder mehrsprachig erfolgen und setzt dabei evtl. entsprechende Vorkenntnisse beim Benutzer voraus. Qualität der Datenbasis: Aktualität, Umfang