Preskoči na glavni sadržaj

Analiza i pretraživanje teksta

ISVU: 280611•4 ECTS•Ljetni semestar

Osnovne informacije

Organizacijska jedinica
Odsjek za informacijske i komunikacijske znanosti
Satnica
  • Predavanja: 30 sati
  • Vježbe u praktikumu: 15 sati

Nastavnici

Cilj

Sustavi za analizu i pretraživanje teksta omogućuju odgovaranje na informacijske potrebe korisnika, kao i crpljenje informacija iz velikih količina nestrukturiranih podataka. Pretraživanje teksta suočava se s kompleksnim problemom višeznačnosti prirodnog jezika te analiza teksta uključuje postupke obrade prirodnog jezika, računalne lingvistike i strojnog učenja. U prvom dijelu kolegij daje prikaz osnovnih zadataka obrade prirodnog jezika, kao što su opojavničenje, korjenovanje i lematizacija. U drugom dijelu prikazani su postupci u pretraživanju teksta kao što je izrada invertnog indeksa, težinsko faktoriranje, vektorizacija dokumenta i osnovni modeli pretraživanja. U trećem dijelu prikazuju se tehnike ekstrakcije informacija, sažimanja i klasifikacije teksta. Studenti se upoznaju s dvije paradigme pretraživanja informacija: modelom vektorskog prostora i vjerojatnosnim modelom pretraživanja informacija. Naposljetku, studenti savladavaju osnove nadziranog strojnog učenja te njegove evaluacije na zadatku klasifikacije dokumenata.

Sadržaj

  1. Uvod u pretraživanje informacija i analizu teksta.
  2. Predobrada teksta. Opojavničenje. Morfološka normalizacija (korjenovanje).
  3. Obrada jezika: morfosintaktičko označavanje i lematizacija.
  4. Pretraživanje teksta. Osnovni koncepti: prikaz teksta, indeksni termini.
  5. Modeli pretraživanja. Pretraživanje Weba.
  6. Booleovo pretraživanje i višerječni upiti. Model vektorskog prostora.
  7. Sličnosti tekstova. Težinsko faktoriranje. Grupiranje tekstova i termina.
  8. Kolokvij.
  9. Vjerojatnosni model pretraživanja informacija.
  10. Ekstrakcija tekstnih informacija (imenovani entiteti, sveze riječi).
  11. Sažimanje teksta.
  12. Strojno učenje i klasifikacija teksta.
  13. Klasifikacija tekstova. Analiza sentimenta.
  14. Evaluacija i usporedba više skupova postavki.
  15. Kolokvij.

Ishodi učenja

  1. Sažeti područja primjene i izazove u analizi i pretraživanju teksta.
  2. Opisati osnovne tehnike za analizu i pretraživanje teksta.
  3. Opisati postupke obrade jezika poput morfološke normalizacije (korjenovanja i lematizacije) u svrhu procjene sličnosti tekstova.
  4. Primijeniti alate za jezičnu predobradu.
  5. Primijeniti postupke strojnog učenja na probleme analize i pretraživanja teksta.
  6. Vrednovati sustav za analizu/pretraživanje teksta.
  7. Osmisliti i provesti jednostavno istraživanje u polju informacijskih i komunikacijskih znanosti
  8. Primijeniti načela i metode organizacije i zaštite dokumenata, podataka i informacija
  9. Primijeniti spoznaje teorijskih i metodoloških znanja informacijskih i komunikacijskih znanosti u rješavanju problema na stručnoj razini

Metode podučavanja

Predavanja i vježbe.

Metode ocjenjivanja

Praktičan rad na tjednim zadatcima tijekom semestra i završni rad.

Obavezna literatura

  1. Christopher D. Manning, Prabhakar Raghavan and Hinrich Schütze, Introduction to Information Retrieval, Cambridge University Press. 2008.
  2. Ignatow, G., & Mihalcea, R. (2017). Text mining: A guidebook for the social sciences. SAGE Publications, Inc.

Dopunska literatura

  1. Manning, C.D., & Schütze, H. (1999). Foundations of statistical natural language processing. SGMD.