正文

大数据知识图谱项目——基于知识图谱的医疗知识问答系统（详细讲解及源码）(代码片段)

星川皆无恙  星川皆无恙  2023-03-04  358

关键词：

基于知识图谱的医疗知识问答系统

一、项目概述

本项目基于医疗方面知识的问答，通过搭建一个医疗领域知识图谱，并以该知识图谱完成自动问答与分析服务。本项目以neo4j作为存储，基于传统规则的方式完成了知识问答，并最终以关键词执行cypher查询，并返回相应结果查询语句作为问答。
问答系统完全基于规则匹配实现，通过关键词匹配，对问句进行分类，医疗问题本身属于封闭域类场景，对领域问题进行穷举并分类，然后使用cypher的match去匹配查找neo4j，根据返回数据组装问句回答，最后返回结果。

二、实现知识图谱的医疗知识问答系统基本流程

1、Node4j软件的安装和使用。
2、数据预处理方法。
3、Python处理数据方法。
4、能够实现一个知识图谱问答系统。

三、项目工具所用的版本号

Node4j-4.4.5，Python，JDK1.8

四、Node4j实验环境的安装配置

(一)安装JAVA
1.下载java安装包：
官网下载链接：https://www.oracle.com/java/technologies/javase-downloads.html

本人下载的版本为JDK-1.8,JDK版本的选择一定要恰当，版本太高或者太低都可能导致后续的neo4j无法使用。

安装好JDK之后就要开始配置环境变量了。配置环境变量的步骤如下：
右键单击此电脑—点击属性—点击高级系统设置—点击环境变量

在下方的系统变量区域，新建环境变量，命名为JAVA_HOME，变量值设置为刚才JAVA的安装路径，我这里是C:\\Program Files\\Java\\jdk1.8.0_211

编辑系统变量区的Path，点击新建，然后输入 %JAVA_HOME%\\bin

打开命令提示符CMD（WIN+R,输入cmd)，输入 java -version，若提示Java的版本信息，则证明环境变量配置成功。

2.安装好JDK之后，就可以安装neo4j了
2.1 下载neo4j
官方下载链接：https://neo4j.com/download-center/#community
也可以直接下载我上传到云盘链接：
Neo4j Desktop Setup 1.4.15.exe
https://www.aliyundrive.com/s/huXS4HXMn9V
提取码: 36vf

打开之后会有一个自己设置默认路径，可以根据自己电脑情况自行设置，然后等待启动就行了

打开之后我们新建一个数据库，名字叫做：“基于医疗领域的问答系统”
详细信息看下图:
数据库所用的是4.4.5版本，其他数据库参数信息如下：

项目结构整体目录:
├── pycache \\编译结果保存目录
│ ├── answer_search.cpython-39.pyc
│ ├── question_classifier.cpython-39.pyc
│ └── question_parser.cpython-39.pyc
├── answer_search.py
├── build_medicalgraph.py \\知识图谱数据入库脚本
├── chatbot_graph.py \\问答程序脚本
├── data
│ └── medical.json \\本项目的数据，通过build_medicalgraph.py导neo4j
│ └── medical2.json\\本项目的部分数据，通过build_medicalgraph.py导neo4j
├── dict
│ ├── check.txt \\诊断检查项目实体库
│ ├── deny.txt \\否定词词库
│ ├── department.txt \\医疗科目实体库
│ ├── disease.txt \\疾病实体库
│ ├── drug.txt \\药品实体库
│ ├── food.txt \\食物实体库
│ ├── producer.txt \\在售药品库
│ └── symptom.txt \\疾病症状实体库
├── prepare_data
│ ├──__pycache__
│ ├── build_data.py \\数据库操作脚本
│ ├── data_spider.py \\网络资讯采集脚本
│ └── max_cut.py \\基于词典的最大向前/向后脚本
│ ├── 处理后的medical数据.xlsx
│ ├── MongoDB数据转为json格式数据文件.py
│ ├──从MongoDB导出的medical.csv
│ ├──data.json #从MongoDB导出的json格式数据
├── question_classifier.py \\问句类型分类脚本
├── answer_search.py \\基于问题答复脚本
├── build_medicalgraph.py \\构建医疗图谱脚本
├── chatbot_graph.py \\小艺问答系统机器人脚本
├── question_parser.py \\基于问句解析脚本
├── 删除所有关系.py
├── 删除关系链.py
├── 两节点新加关系.py
├── 交互匹配所有节点.py
├── 更新节点.py

这里chatbot_graph.py脚本首先从需要运行的chatbot_graph.py文件开始分析。
该脚本构造了一个问答类ChatBotGraph，定义了QuestionClassifier类型的成员变量classifier、QuestionPase类型的成员变量parser和AnswerSearcher类型的成员变量searcher。

question_classifier.py脚本构造了一个问题分类的类QuestionClassifier，定义了特征词路径、特征词、领域actree、词典、问句疑问词等成员变量。
question_parser.py问句分类后需要对问句进行解析。
该脚本创建一个QuestionPaser类，该类包含三个成员函数。
answer_search.py问句解析之后需要对解析后的结果进行查询。
该脚本创建了一个AnswerSearcher类。与build_medicalgraph.py类似，该类定义了Graph类的成员变量g和返回答案列举的最大个数num_list。
该类的成员函数有两个，一个查询主函数一个回复模块。

问答系统框架的构建是通过chatbot_graph.py、answer_search.py、question_classifier.py、question_parser.py等脚本实现。

五、系统实现具体步骤

1）数据来源，爬取数据来源。
安装MongoDB数据库：
MongoDB官方下载地址：
https://www.mongodb.com/try

安装完成：

进行MongoDB环境配置：
在变量Path里加入E:\\MongoDB\\bin

打开终端（cmd）输入mongod --dbpath E:\\MongoDB\\data\\db

在浏览器输入

127.0.0.1:27017

查看MongoDB服务是否启动成功：

安装好MongoDB之后开始爬取数据：
数据来源于寻医问药网：http://jib.xywy.com/

具体的疾病详情页面如下：
首先对网址上的疾病链接进行分析，以感冒为例：
感冒的链接：http://jib.xywy.com/il_sii_38.htm

可以看到，上面包含了疾病的简介、病因、预防、症状、检查、治疗、并发症、饮食保健等详情页的内容。下面我们要使用爬虫把信息收集起来。
通过观察可以看出，链接部分 http://jib.xywy.com/il_sii_ 都是相同的，是通过数字的叠加来组成不同的病例。通过string类型的拼接进行循环后可以得到我们需要的内容。
数据收集模块放在/prepare_data文件夹下面。
要收集 url 下面对应的数据，具体爬虫代码如下：

需要爬取的信息包括疾病名、所属目录、症状、治疗方案等等，都可以从页面上获取。

在MongoDB中查看爬取到的疾病链接和解析出的网页内容：

2）原始数据的处理。
定义一个max_cut.py文件来进行词语的切分，其中包含了最大向前匹配，最大向后匹配，双向最大向前匹配。

然后通过collect_medical函数完成数据的收集整理工作。
再将整理好的数据重新存入数据库中。
在init文件里配置数据库连接，找到当前文件所在的目录，指定连接的数据库及其下面的collection。

再利用python脚本导出爬出的医疗数据并设置格式为data.json格式文件：

处理数据后对应的图谱系统数据关键词：

将从MongoDB导出的data.json数据格式处理之后保存为medical.json和medical2.json文件，其中medical2.json为medical.json中的部分数据。
考虑到构建全部知识图谱需要很久，所以取出一部分数据（medical2.json）先进行构建图谱。

处理后结构化的数据保存到excel文件:

3）所搭建的系统框架，包括知识图谱实体类型，实体关系类型，知识图谱属性类型等。
知识图谱实体类型:

departments = [] #科室
        diseases = []  # 疾病
        drugs = []  # 药品
        foods = []  # 食物
        producers = [] #药品大类
        symptoms = []#症状

实体关系类型:

# 构建节点实体关系，共11类，medical2做出来的只有10类，因为数据量少
        rels_department = []
        rels_noteat = [] # 疾病－忌吃食物关系
        rels_doeat = [] # 疾病－宜吃食物关系
        rels_recommandeat = [] # 疾病－推荐吃食物关系
        rels_commonddrug = [] # 疾病－通用药品关系
        rels_recommanddrug = [] # 疾病－热门药品关系
        rels_check = [] # 疾病－检查关系
        rels_drug_producer = [] # 厂商－药物关系
        rels_symptom = [] #疾病症状关系
        rels_acompany = [] # 疾病并发关系
        rels_category = [] #　疾病与科室之间的关系

知识图谱属性类型：

4）导入Neo4j数据库，生成图谱。
新建一个数据库：基于医疗领域的问答系统
开启Node4j数据库:

连接我们所建的neo4j数据库：
知识图谱数据入库：
根据字典形式的数据创建结点，以疾病为中心定义关系形成三元组表示的知识，将结点和关系导入neo4j数据库形成知识图谱，通过运行build_medicalgraph.py脚本构建图谱：
建立实体关系类型：

该脚本构建了一个MedicalGraph类，定义了Graph类的成员变量g和json数据路径成员变量data_path。

建立的图谱实体关系和属性类型数量有点多，需要等待一会。
脚本运行完之后查看neo4j数据库中构建的知识图谱：

 match (n) return n

提示：Not all return nodes are being displayed due to Initial Node Display setting. Only 3000 of 44112 nodes are being displayed
由于“初始节点显示”设置，并非所有返回节点都显示。44112个节点中仅显示3000个
这里因为我设置的参数只显示前3000个，4万多个节点只显示了一部分。

对于单个节点分析是先建一个label为disease、name为疾病名称的node，property方面包括prevent、cure_way、cause等等，另外，对于症状、科室、检查方法等信息都建立单独的node，同时通过has_symptom、belongs_to、need_check等关联把它们和疾病名称关联起来，因为疾病之间存在并发关系，疾病之间也可以通过症状串联起来，所以最后我们利用大量的
医疗数据，就能构建一个大型的医疗知识图谱：

提示：Started streaming 44112 records in less than 1 ms and completed in less than 1 ms.
在不到1毫秒内开始流式传输44112条记录，并在不到1秒内完成。

5）Python 与Neo4j的交互实现。
连接Node4j数据库：

from py2neo import Graph
class AnswerSearcher:
    def __init__(self):#调用数据库进行查询
        # self.g = Graph("bolt://localhost:7687", username="neo4j", password="123456")#老版本neo4j
        self.g = Graph("bolt://localhost:7687", auth=("neo4j", "123456"))#输入自己修改的用户名，密码
        self.num_limit = 20#最多显示字符数量

创建图对象：

class MedicalGraph:
    def __init__(self):
        cur_dir = '/'.join(os.path.abspath(__file__).split('/')[:-1])
        self.data_path = os.path.join(cur_dir, 'data/medical.json')
        # self.g = Graph("http://localhost:7474", username="neo4j", password="123456")
        self.g = Graph("bolt://localhost:7687", auth=("neo4j", "123456"))

增加node节点:

 def create_node(self, label, nodes):
        count = 0
        for node_name in nodes:
            node = Node(label, name=node_name)
            self.g.create(node)
            count += 1
            print(count, len(nodes))
        return

创建实体关系：

  def create_graphrels(self):
        Drugs, Foods, Checks, Departments, Producers, Symptoms, Diseases, disease_infos, rels_check, rels_recommandeat, rels_noteat, rels_doeat, rels_department, rels_commonddrug, rels_drug_producer, rels_recommanddrug,rels_symptom, rels_acompany, rels_category = self.read_nodes()
        self.create_relationship('Disease', 'Food', rels_recommandeat, 'recommand_eat', '推荐食谱')#调用下面的关系边创建函数
        self.create_relationship('Disease', 'Food', rels_noteat, 'no_eat', '忌吃')
        self.create_relationship('Disease', 'Food', rels_doeat, 'do_eat', '宜吃')
        self.create_relationship('Department', 'Department', rels_department, 'belongs_to', '属于')
        self.create_relationship('Disease', 'Drug', rels_commonddrug, 'common_drug', '常用药品')
        self.create_relationship('Producer', 'Drug', rels_drug_producer, 'drugs_of', '生产药品')
        self.create_relationship('Disease', 'Drug', rels_recommanddrug, 'recommand_drug', '好评药品')
        self.create_relationship('Disease', 'Check', rels_check, 'need_check', '诊断检查')
        self.create_relationship('Disease', 'Symptom', rels_symptom, 'has_symptom', '症状')
        self.create_relationship('Disease', 'Disease', rels_acompany, 'acompany_with', '并发症')
        self.create_relationship('Disease', 'Department', rels_category, 'belongs_to', '所属科室')

更新节点：
更新先要找出Nodes，再使用事务的push更新

from py2neo import Graph, Node, Relationship, NodeMatcher, Subgraph

g = Graph('http://localhost:7687', auth=("neo4j", "123456"))

from py2neo import Graph, NodeMatcher

tx = g.begin()# 找到要找的Nodes
matcher = NodeMatcher(g)

init_node = matcher.match("Person", name="节点名称")
new_node = init_node.first()
new_node['name'] = "新的节点名称"
sub = Subgraph(nodes=[new_node])
tx.push(sub)
g.commit(tx)

from py2neo import Graph, Node, Relationship, NodeMatcher, Subgraph

g = Graph('http://localhost:7687', auth=("neo4j", "123456"))

from py2neo import Graph, NodeMatcher

tx = g.begin() # 找到要找的Nodes
matcher = NodeMatcher(g)

init_node = matcher.match("Person", name="节点名称")
new_node = init_node.first()
new_node['name'] = "新的节点名称"
sub = Subgraph(nodes=[new_node])
tx.push(sub)
g.commit(tx)

删除关系链(节点也会删除)：

from py2neo import Graph, Node, Relationship, NodeMatcher, Subgraph, RelationshipMatcher

g = Graph('http://localhost:7687', auth=("neo4j", "123456"))

matcher = NodeMatcher(g)
r_matcher = RelationshipMatcher(g)
fugui = matcher.match('Person', name='name1').first()
youqian = matcher.match('Person', name='name2').first()

relation = r_matcher.match(nodes=[fugui, youqian]).first() #也可以是none,表示任意节点
print(relation)
g.delete(relation)

两个节点新加关系：

from py2neo import Graph, Node, Relationship, NodeMatcher, Subgraph

g = Graph('http://localhost:7687', auth=("neo4j", "123456"))

matcher = NodeMatcher(g)

fugui = matcher.match('Person', name='节点名称1').first()
youqian = matcher.match('Person', name='节点名称2').first()

relation = Relationship(节点名称1, '所要建立的关系', 节点名称2)

g.create(relation)

6）问答系统的实现与测试，包括问答系统·支持的问答类型，实现方法与步骤。
本项目问答对话系统的分析思路，整体上接近一个基于规则的对话系统，首先我们需要对用户输入进行分类，其实就是分析用户输入涉及到的实体及问题类型，也就是Neo4j中的node、property、relationship，然后我们利用分析出的信息，转化成Neo4j的查询语句，最后再把查询的结果返回给用户，就完成了一次问答。
本项目问答系统支持的问答类型：
问答系统整体上涉及到三个模块，问题的分类、问题的解析以及回答的搜索。

对于property和relationship，我们先预设定一系列的问句疑问词，从而对问句的每个词进行对比分析，判断出问句的类型
然后，根据问句的类型和之前识别出来的实体，基于规则推断出property和relationship：
把问题转化为Neo4j的Cypher语句，其实也是预先写好Cypher语句的模板，根据实际的情况把之前分析得到的node、property、relationship填入Cypher语句中进行查询。
得到了Cypher语句，我们就能连接Neo4j数据库进行查询，得到结果之后，还需要对语句进行一点微调，根据对应的qustion_type，调用相应的回复模板：
问答框架包含问句分类、问句解析、查询结果三个步骤，具体一步步分析。
首先是问句分类，是通过question_classifier.py脚本实现的。
再通过question_parser.py脚本进行问句分类后对问句进行解析。
然后通过answer_search.py脚本对解析后的结果进行查询
最后通过chatbot_graph.py脚本进行问答实测。

执行chatbot_graph.py脚本后出现：
“请输入您所要咨询的问题小艺会帮您解决:”我们输入一个简单的问题：感冒应该怎么治疗？
问答系统返回的结果如下：

再试试其它的问题：比如什么是苯中毒等等
问答系统返回结果如下：
经过测试本问答系统能回答的问题有很多，基于问句中存在的关键词回答效果表现很好。做出来的基于知识图谱的医疗知识问答系统能够根据用户提出的问题很好的进行解答。

做出来的问答系统还是很Nice的。本项目问答系统的主要特征是知识图谱，系统依赖一个或多个领域的实体，并基于图谱进行推理或演绎，深度回答用户的问题，更擅长回答知识性问题，与基于模板的聊天机器人有所不同的是它更直接、直观的给用户答案。本项目问答系统没有复杂的算法，一般采用模板匹配的方式寻找匹配度最高的答案，可以直接给出答案。

各位有兴趣的小伙伴可以私信我要详细的项目文档和项目完整系统源码，欢迎各位小伙伴的来访！

行业知识图谱的构建及应用

...的参考。▌知识图谱上半场 1. 传统知识工程2.大数据知识工程① 大规模简单知识表示②知识获取③ 基于知识图谱的简单推理3. 大数据知识工程到底解决了哪些问题？① 语言表达鸿沟② 缺失的因果... 查看详情

机器不学习：基于知识图谱推理的关系推演

...关注可以分为两个方面：知识图谱的构建和基于知识图谱数据结构的应用。知识图谱的构建主要关注如何整合结构化、非结构化的数据，实现用统一的语义数据结构如三元组RDF形式的数据存储。基于知识图谱的应用主要关注如何... 查看详情

医疗知识图谱的构建和应用

医疗知识图谱是实现智慧医疗的基石，有望带来更高效精准的医疗服务；然而，现有知识图谱构建技术在医学领域中普遍存在效率低、限制多、拓展性差等问题。 &nb... 查看详情

基于知识图谱的电影推荐问答系统实战

...的电影推荐问答系统实战知识图谱电影推荐系统Demo环境数据集文件结构运行过程声明数据集介绍数据集预处理导入数据库连接数据库驱动清空数据库创建电影实体创建用户实体与评分关系创建电影类型实体加载关键词加载导演... 查看详情

《自然语言处理实战入门》基于知识图谱的问答机器人

文章大纲知识图谱简介Neo4j数据库Neo4jjavaJDK版本报错python接口学习路径与参考文献研究报告知识图谱参考基于知识图谱的问答项目参考知识图谱简介知识图谱----初探Neo4j数据库下载https://neo4j.com/download-center/社区版https://neo4j.com/dow... 查看详情

这是一份通俗易懂的知识图谱技术与应用指南

从一开始的Google搜索，到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统，无一不跟知识图谱相关。它在技术领域的热度也在逐年上升。本文以通俗易懂的方式来讲解知识图谱相关的知识、尤其对... 查看详情

知识图谱研究进展

...技术和知识推理技术等。然后，给出现有开放的知识图谱数据集的介绍。最后，给出知识图谱在情报分析中的应用案例。—漆桂林、高桓、吴天星东南大学计算机科学与工程学院本文节选自《情报工程》2017年第1期，知识图谱专... 查看详情

典型的知识库/链接数据/知识图谱项目

典型的知识库/链接数据/知识图谱项目2016年12月27日 Huajun留下评论从人工智能的概念被提出开始，构建大规模的知识库一直都是人工智能、自然语言理解等领域的核心任务之一。下面首先分别介绍了早期的知识库项目和以互... 查看详情

论文笔记基于知识图谱的农业智能问答系统

基于知识图谱的农业智能问答系统前言知识图谱简介知识图谱生命周期知识获取知识抽取知识存储与应用相关技术和工具农业知识图谱构建流程本体层构建实体层构建基于Neo4j的农业知识图谱问答系统算法设计基于知识图谱的问... 查看详情

知识图谱有啥用处？

...知识图谱？知识图谱本质上是语义网络，是一种基于图的数据结构，由节点(Point)和边(Edge)组成。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示... 查看详情

（1.1）——知识图谱简介

...推出了他们的知识图谱1.1.1定义知识图谱是一种基于图的数据结构，由节点（point）和边（Edge）组成，每个节点表示一个“实体”，每条边为实体与实体之间的“关系”，知识图谱本质上是语义网络。通俗定义：知识图谱就是把... 查看详情

a.特定领域知识图谱知识推理方案：知识图谱推理算法综述[二]（dtranse/pairre：基于表示学习的知识图谱链接预测算法）

推荐参考文章：A.特定领域知识图谱知识推理方案：知识图谱推理算法综述[一]（基于距离的翻译模型:TransE、TransH、TransR、TransH、TransA、RotatE）A.特定领域知识图谱知识推理方案：知识图谱推理算法综述[二]（DTransE/PairRE：基于表... 查看详情

a.特定领域知识图谱知识推理方案：知识图谱推理算法综述[一]（基于距离的翻译模型:transetranshtransrtranshtransarotate）(代码片段)

特定领域知识图谱知识融合方案（实体对齐)：基于图神经网络的商品异构实体表征探索

相关文章项目链接：特定领域知识图谱知识融合方案（实体对齐)：优酷领域知识图谱为例特定领域知识图谱知识融合方案（实体对齐)：文娱知识图谱构建之人物实体对齐查看详情

基于向量空间的知识图谱查询及结果解释

知识图谱是一个宏大的数据模型，可以构建庞大的“知识”网络，包含世间万物构成的“实体”以及它们之间的“关系”，图文并茂地展现知识方方面面地“属性”，让人们更便捷地获取信息、找到所求。为了让大家对知识图谱... 查看详情

知识图谱1

...。在经济领域和医疗领域都有现实应用，需要广泛的数据以及数据之间关系的提取，需要使用大量的NLP相关知识。常用的技术有：命名实体识别、给词打上标签、将标签与意图转换成sql在应用时&# 查看详情

（1.1）——知识图谱简介

mockneo4j知识图谱数据集mock问答训练数据集mock(代码片段)

...1.前言2.快速预览3.Neo4jwindows快速安装与启动3.1下载4.导入数据4.1导入步骤5.说明1.前言为方便大家熟悉neo4j语法，练习cpl；以及可以作为基于Neo4j知识图谱做NLP问答推荐之类的知识数据，特分享医疗领域医疗知识图谱数... 查看详情