nach oben

Erschienen in:

2024 | OriginalPaper | Buchkapitel

Result Assessment Tool: Software to Support Studies Based on Data from Search Engines

verfasst von : Sebastian Sünkler, Nurce Yagci, Sebastian Schultheiß, Sonja von Mach, Dirk Lewandowski

Erschienen in: Advances in Information Retrieval

Verlag: Springer Nature Switzerland

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config

KI-gestützte Suche

Aus

Abstract

The Result Assessment Tool (RAT) is a software toolkit for conducting research with results from commercial search engines and other information retrieval (IR) systems. The software integrates modules for study design and management, automatic collection of search results via web scraping, and evaluation of search results in an assessment interface using different question types. RAT can be used for conducting a wide range of studies, including retrieval effectiveness studies, classification studies, and content analyses.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 390 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Maschinenbau + Werkstoffe

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 340 Zeitschriften

aus folgenden Fachgebieten:

Bauwesen + Immobilien
Business IT + Informatik
Finance + Banking
Management + Führung
Marketing + Vertrieb
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Vorheriges Kapitel XSearchKG: A Platform for Explainable Keyword Search over Knowledge Graphs

Nächstes Kapitel eval-rationales: An End-to-End Toolkit to Explain and Evaluate Transformers-Based Models

The SEO-classifier implementation is described at [16].

We developed a script that generates search queries based on keyword suggestions generated by the Google Ads API: https://developers.google.com/google-ads/api/.

Repository for the research data generated with RAT: https://osf.io/t3hg9/

The RAT software demo is available at https://rat-software.org/

Repository for the source code: https://github.com/rat-software/

Bar-Ilan, J., Levene, M.: A method to assess search engine results. Online Inf. Rev. 35, 854–868 (2011). https://doi.org/10.1108/14684521111193166CrossRef

Tawileh, W., Griesbaum, J., Mandl, T.: Evaluation of five web search engines in Arabic language. In: Atzmüller, M., Benz, D., Hotho, A., and Stumme, G. (eds.) Proceedings of LWA 2010, Kassel, Germany, pp. 1–8 (2010)

Trielli, D., Diakopoulos, N.: Partisan search behavior and Google results in the 2018 U.S. midterm elections. Inf. Commun. Soc. 1–17 (2020). https://doi.org/10.1080/1369118X.2020.1764605

Lingnau, A., Ruthven, I., Landoni, M., van der Sluis, F.: Interactive search interfaces for young children - the PuppyIR approach. In: 2010 10th IEEE International Conference on Advanced Learning Technologies, pp. 389–390. IEEE (2010). https://doi.org/10.1109/ICALT.2010.111

Renaud, G., Azzopardi, L.: SCAMP. In: Proceedings of the 4th Information Interaction in Context Symposium on - IIIX 2012, pp. 286–289. ACM Press, New York (2012). https://doi.org/10.1145/2362724.2362776

Dussin, M., Ferro, N.: Design of a digital library system for large-scale evaluation campaigns. In: Christensen-Dalsgaard, B., Castelli, D., Ammitzbøll Jurik, B., Lippincott, J. (eds.) Research and Advanced Technology for Digital Libraries, pp. 400–401. Springer, Heidelberg (2008). https://doi.org/10.1007/978-3-540-87599-4_45CrossRef

Koopman, B.: Semantic search as inference. ACM SIGIR Forum. (2014). https://doi.org/10.1145/2701583.2701601CrossRef

Ogilvie, P., Callan, J.P.: Experiments using the lemur toolkit. In: Proceedings of Tenth Text REtrieval Conference, TREC 2001, Gaithersburg, MD, USA, 13–16 November 2001 (2001)

Digitalmethods: DMI Tools. https://wiki.digitalmethods.net/Dmi/ToolDatabase. Accessed 23 Feb 2023

10.

Thelwall, M.: Introduction to webometrics: quantitative web research for the social sciences. Synth. Lect. Inf. Concepts Retr. Serv. (2009). https://doi.org/10.2200/s00176ed1v01y200903icr004CrossRef

11.

Janssen, S., Käsmann, L., Fahlbusch, F.B., Rades, D., Vordermark, D.: Side effects of radiotherapy in breast cancer patients: the Internet as an information source. Strahlenther. Onkol. Organ Dtsch. Rontgengesellschaft Al 194, 136–142 (2018). https://doi.org/10.1007/s00066-017-1197-7CrossRef

12.

Rachul, C., Marcon, A.R., Collins, B., Caulfield, T.: COVID-19 and ‘immune boosting’ on the internet: a content analysis of Google search results. BMJ Open 10, e040989 (2020). https://doi.org/10.1136/bmjopen-2020-040989CrossRef

13.

Ballatore, A.: Google chemtrails: a methodology to analyze topic representation in search engine results. First Monday 20 (2015)

14.

Lewandowski, D.: Evaluating the retrieval effectiveness of web search engines using a representative query sample. J. Assoc. Inf. Sci. Technol. 66, 1763–1775 (2015). https://doi.org/10.1002/asi.23304CrossRef

15.

Hinz, K., Sünkler, S., Lewandowski, D.: SEO im Wahlkampf. In: Korte, K.-R., Schiffers, M., von Schuckmann, A., Plümer, S. (eds.) Die Bundestagswahl 2021, pp. 1–28. Springer, Wiesbaden (2023). https://doi.org/10.1007/978-3-658-35758-0_19-1

16.

Lewandowski, D., Sünkler, S., Yagci, N.: The influence of search engine optimization on Google’s results: a multi-dimensional approach for detecting SEO. In: 13th ACM Web Science Conference 2021, WebSci 2021, 21–25 June 2021 Virtual Event UK (2021). https://doi.org/10.1145/3447535.3462479

17.

Haider, J., Ekström, B., Wallin, E.T., Lorentzen, D.G., Rödl, M., Söderberg, N.: Tracing online information about wind power in Sweden: an exploratory quantitative study of broader trends (2023). https://doi.org/10.13140/RG.2.2.27914.13766

18.

Schultheiß, S., Lewandowski, D., Von Mach, S., Yagci, N.: Query sampler: generating query sets for analyzing search engines using keyword research tools. PeerJ Comput. Sci. 9, e1421 (2023). https://doi.org/10.7717/peerj-cs.1421CrossRef

19.

Yagci, N., Sünkler, S., Häußler, H., Lewandowski, D.: A comparison of source distribution and result overlap in web search engines. Proc. Assoc. Inf. Sci. Technol. 59, 346–357 (2022). https://doi.org/10.1002/pra2.758CrossRef

20.

Abras, C., Maloney-krichmar, D., Preece, J.: User-centered design. In: Bainbridge, W. (ed.) Encyclopedia of Human-Computer Interaction, pp. 445–456. Sage Publications, Thousand Oaks (2004)

21.

International Organization for Standardization: ISO 9241-210 (2019). https://www.iso.org/standard/77520.html. Accessed 10 Oct 2023

22.

Wilkinson, M.D., et al.: The FAIR guiding principles for scientific data management and stewardship. Sci. Data. 3, 160018 (2016). https://doi.org/10.1038/sdata.2016.18CrossRef

Titel: Result Assessment Tool: Software to Support Studies Based on Data from Search Engines
verfasst von: Sebastian Sünkler
Nurce Yagci
Sebastian Schultheiß
Sonja von Mach
Dirk Lewandowski
Verlag: Springer Nature Switzerland
Buch: Advances in Information Retrieval
Print ISBN: 978-3-031-56068-2

Electronic ISBN: 978-3-031-56069-9

Copyright-Jahr: 2024
DOI: https://doi.org/10.1007/978-3-031-56069-9_19

Springer Professional

Abstract

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Springer Professional "Technik"

Springer Professional "Wirtschaft"

Premium Partner