# LLM-Retrieval-QA

**Repository Path**: loxs/llm-retrieval-qa

## Basic Information

- **Project Name**: LLM-Retrieval-QA
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-03-05
- **Last Updated**: 2024-03-16

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# LLM 实现医疗检索问答 基于文本和知识图谱

![Alt Text](images/检索模型.drawio.svg)

## 数据集

医疗书籍+CMB训练集

数据集下载地址：https://huggingface.co/datasets/FreedomIntelligence/CMB
提交地址：https://cmedbenchmark.llmzoo.com/static/submit.html

### 公开榜单


| 总榜单                 | 组织                                            | 准确率(中医学与中药学) |
| ---------------------- | ----------------------------------------------- | ---------------------- |
| RobotGPT-30B           | 达闼机器人(成都)<br/>解放军总医院医学创新研究部 | 80.5                   |
| jianpeiGPT             | 健培科技                                        | 72.25                  |
| HuatuoGPTII-34B (华佗) | CUHKSZ-NLP                                      | 72.5                   |
| Qwen-72B-Chat          | Qwen                                            | 64.25                  |
| CollectiveSFT          | CAS·SIAT-NLP                                   | 62.75                  |
| BrainAuGPT             | 脑动极光                                        | 60.75                  |
| Yi-34B-Chat            | Yi                                              | 62.5                   |
| HuatuoGPTII-13B (华佗) | CUHKSZ-NLP                                      | 63                     |
| Yi-6B-Chat             | Yi                                              | 56.75                  |
| ShuKunGPT              | 数坤科技                                        | 61.75                  |
| AntGLM-Med-10B         | AntGroup                                        | 61.25                  |
| GPT-4                  | OpenAI                                          | 42                     |
| HuatuoGPTII-7B (华佗)  | CUHKSZ-NLP                                      | 55.5                   |
| Qwen-14B-Chat          | Qwen                                            | 46                     |
| Deepseek-llm-67B-Chat  | Deepseek-llm                                    | 49.75                  |
| Baichuan2-13B-Chat     | Baichuan-inc                                    | 50                     |
| Qwen-7B-Chat           | Qwen                                            | 39                     |
| ChatGLM2-6B            | THUDM                                           | 36                     |
| Baichuan2-7B-Chat      | Baichuan-inc                                    | 41                     |
| Baichuan-13B-chat      | Baichuan-inc                                    | 40.25                  |
| Qwen-1.8B              | Qwen                                            | 30.25                  |
| ChatGLM3-6B            | THUDM                                           | 31.5                   |
| DISC-MedLLM-13B        | FudanDISC                                       | 37                     |
| IvyGPT                 | Macao Polytechnic University                    | 36.25                  |
| Sunsimiao              | X-D Lab                                         | 37.25                  |
| Internlm-Chat-20B      | Internlm                                        | 31.75                  |
| ChatGPT                | OpenAI                                          | 26.25                  |

### 本仓库提交测试集结果

lora微调使用CMB训练集


| 方法                            | 准确率 |
| ------------------------------- | ------ |
| 01-Ai                           | 56.75  |
| 01-Ai + 0shot + 检索增强        | 69.75  |
| 01-Ai + 1shot + 检索增强        | 71.5   |
| 01-Ai + 0shot + 检索增强 + lora | 70.25  |
| 01-Ai + 1shot + 检索增强 + lora | 70.25  |

## RAG方法和SFT方法对比

- RAG优点、SFT缺点

1. RAG检索出来的内容是一个很强的提示，可以提示给大模型，而SFT不一定激发出来，也很容易出现大模型幻觉现象。

- RAG缺点、SFT优点

1. RAG方法很大程度上取决于检索模型的精度，并且需要的知识有可能分散在知识库的不同部分，很难将他们完全找到，此外由于模板的存在，也会增加额外的推理时间。

但是其实两者并不矛盾，在实际算法场景可以尝试同时使用两种方法。