#gStore-weekly | gAnswer源码解析查询图生成

简介

gAnswer通过将自然语言问题转化成查询图，再和图数据库中的RDF图做匹配以生成用于查询的SPARQL语句。今天讲解的就是生成查询图的主要代码。

复制代码

// step 2: build query graph (structure construction, relation extraction, top-k join) 
t = System.currentTimeMillis();
BuildQueryGraph step2 = new BuildQueryGraph();
step2.process(qlog);
qlog.timeTable.put("step2", (int)(System.currentTimeMillis()-t));

这是生成查询图的函数入口部分，如注释中所示，该部分主要分为三个子模块：构建查询图结构、关系提取和子图匹配（top-k join）。在构建查询图结构之前，已经通过节点提取模块（Node Extraction）确定了图中的所有节点，因此构图的过程其实就是确定每两个点之间是否有连边的过程，通过在依存分析树（Dependency Parsing Tree）上深度优先搜索，可在（为树的大小）时间内完成。接下来，通过一种基于依存分析树和离线构造词典的方法完成关系提取（Relation Extraction）后，gAnswer会采用一种子图匹配的方法将生成的查询图和RDF图匹配，从而生成候选SPARQL.

因节点提取、关系提取在以往的文章中已经讲过，因此本文聚焦于构建查询图结构和子图匹配的过程。

构建查询图结构

在构建查询图之前，需要完成四个准备工作：fix stop nodes, detect modified node, detect target和coreference resolution.

Fix stop nodes和detect modified node主要是为了提高准确率针对英文语境和DBpedia数据集的一些经验性的修改，比如问句中出现短语"take place"，则实体"place"一定不是图中的节点。而detect modified node是针对一些名词词组（比如"Apollo 11 mission" "De Beers company"），选择其中一个词代表整个词组作为图中的节点。

在detect modified node中分为两个部分：检测连续的名词词组（getTheModifiedWordBySentence方法）和离散的名词词组（getDiscreteModifiedWordBySentence方法），但这两个部分的思想是一致的，即根据句子结构定义一些经验性的规则。在未来可通过训练一个节点识别模型替换掉当前的启发式规则。

复制代码

public Word getDiscreteModifiedWordBySentence(Sentence s, Word curWord)
{ 
    int curPos = curWord.position - 1;
    
    //[ent1](cur) 's [ent2], ent1->ent2, usually do NOT appear in SPARQL | eg：Show me all books in Asimov 's Foundation_series
    if(curPos+2 < s.words.length && curWord.mayEnt && s.words[curPos+1].baseForm.equals("'s") && s.words[curPos+2].mayEnt)
        return curWord.modifiedWord = s.words[curPos+2];
    
    //[ent1] by [ent2](cur), ent2->ent1, usually do NOT appear in SPARQL | eg: Which museum exhibits The Scream by Munch?
    if(curPos-2 >=0 && (curWord.mayEnt||curWord.mayType) && s.words[curPos-1].baseForm.equals("by") && (s.words[curPos-2].mayEnt||s.words[curPos-2].mayType))
        return curWord.modifiedWord = s.words[curPos-2];
    
    return curWord.modifiedWord;
}

getDiscreteModifiedWordBySentence方法

准备工作的第三步是detect target，即寻找问句的目标变量是什么。gAnswer通过判断Wh-word（即what, where等）来确定问句的类别，并结合句子和依存树的结构来确定目标变量。

复制代码

if(target.word.baseForm.equals("where"))
{
    int curPos = target.word.position - 1;
    
    //!Where is the residence of
    if(words[curPos+1].baseForm.equals("be") && words[curPos+2].posTag.equals("DT"))
    {
        for(int i=curPos+4;i<words.length;i++)
            if(words[i-1].posTag.startsWith("N") && words[i].posTag.equals("IN"))
            {
                target.word.represent = words[i-1];
                target = ds.getNodeByIndex(i);
                break;
            }
        
    }
}

如上图所示，以"where"为例，除了简单的问句，最常见的问法是"where is the xxx of ..."，即where后面跟着be动词、限定词、名词和介词，那么我们会将这个名词作为目标，而不是where本身。

对于形如"Where is xxx from?"这样的简单问句，gAnswer认为目标就是"where"，即查询图中的两个节点是"where"和"xxx".

最后一步是coreference resolution，即识别并解决指代关系（anaphora resolution）和指代消解（cataphora resolution），gAnswer目前只提供了一个基于规则的简单方法。

准备工作完成后，在构建时，首先建立一个队列，并将目标节点放进队列中。随后每次取出队首，并用深度优先搜索的方法在依存树上查找周围节点，直到遇到了其他中的节点，则认为这两个节点相连，并将这些节点放进队列。重复以上流程直到队列为空，至此的完整结构就构建出来了。

复制代码

public void dfs(DependencyTreeNode head, DependencyTreeNode cur, ArrayList<DependencyTreeNode> ret)
{
    if(cur == null)
        return;
    visited.add(cur);
    
    if(isNode(cur) && head!=cur)
    {
        ret.add(cur);
        return;
    }
    
    if(cur.father!=null && !visited.contains(cur.father))
    {
        dfs(head,cur.father,ret);
    }
    for(DependencyTreeNode child: cur.childrenList)
    {
        if(!visited.contains(child))
            dfs(head,child,ret);
    }
    return;
}

深度优先搜索过程

需要注意的是，这样建立的图是一个超图，即在和RDF图进行子图匹配时，我们允许有的边失配，这种构图方法也一定程度上解决了语言歧义性的问题。

之后会通过节点提取方法为每条边寻找对应的谓词，从而生成完整的查询图。

子图匹配

子图匹配过程即生成SPARQL过程，调用方法部分如下图所示：

复制代码

//step3: item mapping & top-k join
t = System.currentTimeMillis();
SemanticItemMapping step5 = new SemanticItemMapping();
step5.process(qlog, qlog.semanticRelations); //top-k join (generate SPARQL queries), disambiguation
qlog.timeTable.put("BQG_topkjoin", (int)(System.currentTimeMillis()-t));

子图匹配的算法的主体是top-k join，即匹配过程中取得分前高的子图作为答案。因子图匹配需要不断和图数据库进行交互，通信成本较高，因此gAnswer采用检查预先离线处理的"fragment"来模拟子图匹配的过程。

fragment：相当于将RDF图的信息离线存储在本地，每个fragment相当于图中的一个节点，包含该节点信息，以及该节点的出边信息等。

提取的信息后（点的信息存储在entityPhrasesList中，边的信息存储在predicatePhraseList中），top-k join算法首先枚举图中的所有节点的mention对应的实体，再枚举这些节点之间是否有边，以及边对应的谓词。这些全部枚举出来后，会通过scoringAndRanking方法判断枚举出来的的子图是否是RDF的子图，以及为其打分。

在scoringAndRanking中，首先会判断子图是否连通（若边的数量大于1，且存在一对节点他们的度数都为1，说明不连通）。若子图连通，会根据fragment判断每条边是否为RDF图上的边。因为RDF图是有向图，因此判断的过程即判断RDF图中是否存在这样的三元组，若存在，会为这个三元组新建一个Triple类的对象，认为其是一条SPARQL三元组。

复制代码

if(sr.isArg1Constant && (sr.arg1Word.mayEnt || sr.arg1Word.mayType) ) // Constant 
{
    // For subject, entity has higher priority.
    if(sr.arg1Word.mayEnt)
    {
        EntityMapping em = currentEntityMappings.get(sr.arg1Word.hashCode());
        subjId = em.entityID;
        sub = em.entityName;
        score *= em.score;
    }
    else
    {
        TypeMapping tm = sr.arg1Word.tmList.get(0);
        subjId = Triple.TYPE_ROLE_ID;
        sub = tm.typeName;
        score *= (tm.score*100); // Generalization. type score: [0,1], entity score: [0,100].
    }
}
else // Variable
{
    subjId = Triple.VAR_ROLE_ID;
    sub = "?" + sr.arg1Word.originalForm;
}

通过fragement进行子图匹配过程（以判断subject节点为例）

至此，gAnswer根据构建的超图生成了对应的SPARQL，只要在对应的图数据库中执行便能获得问题的答案了。

#gStore-weekly | gAnswer源码解析 查询图生成

简介

构建查询图结构

子图匹配

#gStore-weekly | gAnswer源码解析查询图生成