Skip to main content

2024 | OriginalPaper | Buchkapitel

A Conversational Search Framework for Multimedia Archives

verfasst von : Anastasia Potyagalova, Gareth J. F. Jones

Erschienen in: Advances in Information Retrieval

Verlag: Springer Nature Switzerland

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Conversational search system seek to support users in their search activities to improve the effectiveness and efficiency of search while reducing their cognitive load. The challenges of multimedia search mean that search supports provided by conversational search have the potential to improve the user search experience. For example, by assisting users in constructing better queries and making more informed decisions in relevance feedback stages whilst searching. However, previous research on conversational search has been focused almost exclusively on text archives. This demonstration illustrates the potential for the application of conversational methods in multimedia search. We describe a framework to enable multimodal conversational search for use with multimedia archives. Our current prototype demonstrates the use of an conversational AI assistant during the multimedia information retrieval process for both image and video collections.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
2.
Zurück zum Zitat Hodosh, M., Young, P., Hockenmaier, J.: Framing image description as a ranking task: data, models and evaluation metrics. J. Artif. Intell. Res. 47, 853–899 (2013)MathSciNetCrossRef Hodosh, M., Young, P., Hockenmaier, J.: Framing image description as a ranking task: data, models and evaluation metrics. J. Artif. Intell. Res. 47, 853–899 (2013)MathSciNetCrossRef
3.
Zurück zum Zitat Kaushik, A., Jacob, B., Velavan, P.: An exploratory study on a reinforcement learning prototype for multimodal image retrieval using a conversational search interface. Knowledge 2(1), 116–138 (2022)CrossRef Kaushik, A., Jacob, B., Velavan, P.: An exploratory study on a reinforcement learning prototype for multimodal image retrieval using a conversational search interface. Knowledge 2(1), 116–138 (2022)CrossRef
4.
Zurück zum Zitat Kim, H., Kim, D., Yoon, S., Dernoncourt, F., Bui, T., Bansal, M.: Caise: conversational agent for image search and editing. In: Proceedings of the The Thirty-Sixth AAAI Conference on Artificial Intelligence (AAAI-2022) (2022) Kim, H., Kim, D., Yoon, S., Dernoncourt, F., Bui, T., Bansal, M.: Caise: conversational agent for image search and editing. In: Proceedings of the The Thirty-Sixth AAAI Conference on Artificial Intelligence (AAAI-2022) (2022)
5.
Zurück zum Zitat Nie, L., Jiao, F., Wang, W., Wang, Y., Tian, Q.: Conversational image search. IEEE Trans. Image Process. 30, 7732–7743 (2021)CrossRef Nie, L., Jiao, F., Wang, W., Wang, Y., Tian, Q.: Conversational image search. IEEE Trans. Image Process. 30, 7732–7743 (2021)CrossRef
6.
Zurück zum Zitat Radlinski, F., Craswell, N.: A theoretical framework for conversational search. In: Proceedings of the 2017 Conference on Conference Human Information Interaction and Retrieval, pp. 117–126 (2017) Radlinski, F., Craswell, N.: A theoretical framework for conversational search. In: Proceedings of the 2017 Conference on Conference Human Information Interaction and Retrieval, pp. 117–126 (2017)
7.
Zurück zum Zitat Xu, J., Mei, T., Yao, T., Rui, Y.: MSR-VTT: a large video description dataset for bridging video and language. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5288–5296 (2016) Xu, J., Mei, T., Yao, T., Rui, Y.: MSR-VTT: a large video description dataset for bridging video and language. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5288–5296 (2016)
8.
Metadaten
Titel
A Conversational Search Framework for Multimedia Archives
verfasst von
Anastasia Potyagalova
Gareth J. F. Jones
Copyright-Jahr
2024
DOI
https://doi.org/10.1007/978-3-031-56069-9_25

Premium Partner