哭了哭了，这周唯一能听懂的就这门
目录
- [IR（Information Retrieval)是什么？](#IR（Information Retrieval)是什么？)
- IR的基本假设
- [Unstructured (text) vs. structured](#Unstructured (text) vs. structured)
- [Documents vs. Database Records](#Documents vs. Database Records)
- [比较文本（Comparing Text）](#比较文本（Comparing Text）)
- [IR的范围(Dimensions of IR)](#IR的范围(Dimensions of IR))
- [IR的任务(IR Task)](#IR的任务(IR Task))
- [IR的大问题(Big Issues in IR)](#IR的大问题(Big Issues in IR))
- [Unranked retrieval evaluation:](#Unranked retrieval evaluation:)
IR（Information Retrieval)是什么？
不等同于search，不是做数据查询(database query)
The field of computer science that is most involved with R&D(research and development) for search is information retrieval (IR)
- 找 finding material(doctuments)
- 无结构 unstructured nature
- 大集合 an information need within large collection
IR的基本假设
- 集合(Collection) ：一组文档，静态的（a static collection for the moment）
- 目标(Goal) ：检索与用户需要的信息相关的文档(retrieve documents with information that is relevant to the user's information
need and helps the user complete a task)
Unstructured (text) vs. structured
market cap 市场总值
90年代中期，大部分数据是非结构化的，而在行业里，大部分的钱都在结构化数据库上。如oracle、Microsoft SQL Server、IBM database、DB2
而到了2019年的时候，非结构数据更多了，在非结构化数据上花的钱也比结构化数据更多了（如chatgpt）
这让信息检索比以前更重要了
Documents vs. Database Records
数据库记录（或关系数据库中的元组tuple）通常由定义良好的字段field(或属性attribute)组成。数据库( fields with well-defined semantics)查询很容易，文本(text or documents)较难。
比较文本（Comparing Text）
将查询文本(query text)与文档文本(document text)进行比较，确定什么是好的匹配，是信息检索的核心问题(core issue)。
IR的范围(Dimensions of IR)
IR不仅仅是文本和网络搜索（虽然在这门课上是核心）
IR的任务(IR Task)
- 动态查询(Ad-hoc search)：查找任意文本(arbitrary text)查询的相关文档
- 筛选(Filtering):又名信息传播(aka information dissemination)，为新文档识别相关用户的profile(比如你告诉你的社交媒体你喜欢动漫，它可能以后会给你推这方面的)
- 分类(Classification)：识别文档相关的标签
- 问题回答(Question answering)：对问题给出一个具体的答案
IR的大问题(Big Issues in IR)
相关性(relevance)
- 话题相关(Topical relevance)：same topic，不用管用户
- 用户相关(User relevance)：用户说相关它就相关
所以话题相关更容易满足 - 检索模型(Retrieval model)： 定义相关性的形式(define a view of relevance)，比如boolean retrieval是binary的，要么对要么不对
- 排序算法(Ranking algorithms )：基于检索模型，如矢量模型(vector model)、概率模型(probability model)
- 大部分模型描述文本的统计属性(statistical properties)而不是语言属性(linguistic properties)
评估(Evaluation)
- 比较系统输出(system output)与用户期望(user expectations)的实验程序和措施
- 召回率(Recall)和准确率(precision) 是有效度量的两个例子
Unranked retrieval evaluation:
accuracy不是信息检索的词，accuracy很误导，我们不用accuracy来衡量信息检索而是Precision和Recall
- Precision ：fraction of retrieved docs that are relevant = P (relevant|retrieved)
你搜索到的有多少是正确的样本？ - Recall ：fraction of relevant docs that are retrieved = P (retrieved|relevant)
在正确的样本中有多少正确的样本被搜索到了？
所以一个是关于retrieve，另一个是关于collection
- tp:true positive(相关，并且搜索到了)
- fp:false positive
- fn:false negative
- tn:true negative(不相关，并且没搜索到)
all the true are good stuff, all the false you don't like