Spaces:

xzyun2011
/

wulewule

Runtime error

App Files Files Community

zhiyun.xu commited on Nov 19, 2024

Commit

5d1ff8c

1 Parent(s): d573b56

update demo

Browse files

Files changed (1) hide show

README.md +12 -238

README.md CHANGED Viewed

@@ -1,239 +1,13 @@
-# 🐒悟了悟了🐒 — 《黑神话：悟空》AI助手
-<br />
-<!-- PROJECT LOGO -->
-<p align="center">
-  <a href="https://github.com/xzyun2011/wulewule/">
-    <img src="./assets/sd_wulewule.webp" alt="Logo" width="30%">
-  </a>
-<h3 align="center"> 悟了悟了</h3>
-  <p align="center">
-    <br />
-    <a href="https://github.com/xzyun2011/wulewule/">查看Demo</a>
-    ·
-    <a href="https://github.com/xzyun2011/wulewule/issues">报告Bug & 提出新特性</a>
-  </p>
-## 📜 前言
-国产3A游戏《黑神话：悟空》自发布以来，以其精美绝伦的画面、流畅自如的战斗机制、精心雕琢的设计、深厚的文化底蕴等，在全网引发热潮。开发这款“悟了悟了”AI小助手的初衷，是想帮助玩家深入探索游戏的文化内涵，丰富游戏体验。通过解析游戏中的故事情节、角色渊源、与原著的巧妙联系、游戏隐藏细节以及有趣的彩蛋等内容，让玩家更了解游戏背后的中国传统文化，为玩家在酣畅淋漓的战斗之余，带来一场精神上的盛宴。此外，小助手还提供详尽的游戏攻略，助力玩家轻松通关，尽享游戏乐趣。
-悟了悟了的模型使用 [xtuner](https://github.com/InternLM/xtuner)在 [InternLM2.5](https://github.com/InternLM/InternLM) 微调得到， 首先在一些网络数据（如《西游记》中英文版、《悟空传》等）上进行**增量预训练**，再基于RAG生成的准确的问答对数据集，基于此数据集进行**QLoRA指令微调**。部署时集成了**RAG**和**LMDeploy 加速推理**
-**项目亮点总结：**
-1. 📊 基于RAG制作准确实时的新知识数据集
-2. 📚 RAG 检索增强生成回答
-3. 🚀 KV cache + Turbomind 推理加速
-## 🎥 效果图
-<video src="assets/wulewulev1_7b_4bit.mp4"></video>
-https://github.com/user-attachments/assets/9e01d57a-96a9-4ca6-855c-2128010cd0c7
-## 🗂️ 目录
-- [📜 前言](#-前言)
-- [🎥 图效果图](#-效果图)
-- [📊 框架图](#-框架图)
-- [🧩 Model Zoo](#-model-zoo)
-- [🚀 快速使用](#-快速使用)
-  - [💻 本地部署](#-本地部署)
-  - [🌐 在线体验](#-在线体验)
-- [📖 详细指南](#-详细指南)
-  - [🔍 数据集制作](#-数据集制作)
-    - [📚 增量预训练数据](#-增量预训练数据)
-    - [🤔 自我认知数据](#-自我认知数据)
-    - [💬 指令微调数据](#-指令微调数据)
-  - [🔄 模型训练](#-模型训练)
-  - [🎨 模型量化](#-模型量化)
-  - [🔎 RAG(检索增强生成)](#-rag检索增强生成)
-- [📅 开发计划](#-开发计划)
-  - [🌟 初版功能](#-初版功能)
-  - [🤖 后续多模态版本](#-后续多模态版本)
-- [🙏 致谢](#-致谢)
-- [⚠️ 免责声明](#-免责声明)
 ---
-## 📊 框架图
-![](assets/框架图.png)
-## 🧩 Model Zoo
-| 模型                        | 基座                  | 类型                       | ModelScope(HF)                                               | OpenXLab(HF)                                                 |
-| --------------------------- | --------------------- | -------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ |
-| wulewule_v1_1_8b            | internlm2_5_chat_1_8b | 预训练+QLoRA微调           | [wulewule_v1_1_8b](https://modelscope.cn/models/xzyun2011/wulewule_v1_1_8b) | [wulewule_v1_1_8b](https://openxlab.org.cn/models/detail/xzyun2011/wulewule_v1_1_8b) |
-| wulewule_v1_1_8b-w4a16-4bit | internlm2_5_chat_1_8b | 预训练+QLoRA微调+w4a16量化 | [wulewule_v1_1_8b-w4a16-4bit](https://modelscope.cn/models/xzyun2011/wulewule_v1_1_8b-w4a16-4bit) | [wulewule_v1_1_8b-w4a16-4bit](https://openxlab.org.cn/models/detail/xzyun2011/wulewule_v1_1_8b-w4a16-4bit) |
-| wulewule_v1_7b              | internlm2_5_chat_7b   | 预训练+QLoRA微调           | [wulewule_v1_7b](https://modelscope.cn/models/xzyun2011/wulewule_v1_7b) | [wulewule_v1_7b](https://openxlab.org.cn/models/detail/xzyun2011/wulewule_v1_7b) |
-| wulewule_v1_7b-w4a16-4bit   | internlm2_5_chat_7b   | 预训练+QLoRA微调+w4a16量化 | [wulewule_v1_7b-w4a16-4bit](https://modelscope.cn/models/xzyun2011/wulewule_v1_7b-w4a16-4bit) | [wulewule_v1_7b-w4a16-4bit](https://openxlab.org.cn/models/detail/xzyun2011/wulewule_v1_7b-w4a16-4bit) |
-## 🚀 快速使用
-### 💻 本地部署
-```shell
-git clone https://github.com/xzyun2011/wulewule.git
-cd wulewule
-conda create -n wulewule python=3.10.0 -y
-conda activate wulewule
-conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
-pip install -r requirements.txt
-apt-get install git-lfs
-streamlit run app.py
-```
-### 🌐 在线体验
-制作中...
-wulewule_InternLM2-Chat-1_8版体验地址：https://openxlab.org.cn/apps/detail/xzyun2011/wulewule_v1
-## 📖 详细指南
-### 🔍 数据集制作
-数据制作代码讲解见[数据制作流程](data/readme.md)，使用脚本直接制作数据集：
-#### 📚 增量预训练数据
-将网络收集到的文本数据切分，执行脚本，得到`incremental_pretraining.jsonl`增量预训练数据
-```
-conda activate wulewule
-cd wulewule/data
-python3 generate_incremental_pretraining.py --root-path ./ --save-path ./incremental_pretraining.jsonl
-```
-#### 🤔 自我认知数据
-将`data_utils.py`中的"api_key"换成自己的，执行脚本，将得到`self_cognition.jsonl`自我认知数据
-```
-python3 generate_selfcognition.py --save-path ./self_cognition.jsonl
-```
-#### 💬 指令微调数据
-开启茴香豆server服务后，执行脚本，将得到`huixiangdou_conversations.jsonl`准确的问答对数据
-```
-python3 huixiangdou_rag_QA.py
-```
-### 🔄 模型训练
-训练配置代码讲解见[训练配置](xtuner_config/readme.md)，
-🚨其中有个参数需要注意一下：accumulative_counts = 1 #单卡训练切记改成1，不然会有问题，🚨切记切记！！！
-命令行直接如下操作：
-**QLoRA+deepspeed训练**
-```
-#增量预训练
-xtuner train ./xtuner_config/pretrain/internlm2_5-1_8b-chat_pretrain.py  --work-dir ./pretrain --deepspeed deepspeed_zero1
-#指令微调
-xtuner train ./xtuner_config/finetune/internlm2_5_chat_1_8b_qlora_wulewule_all_test.py  --work-dir ./finetune --deepspeed deepspeed_zero1
-```
-**模型转换 + LoRA 合并**
-```
-export MKL_SERVICE_FORCE_INTEL=1
-export MKL_THREADING_LAYER=GNU
-##指令微调为例子，先获取最后保存的一个pth文件
-pth_file=`ls -t ./finetune/internlm2_5_chat_1_8b_qlora_wulewule_all_test.py/*.pth | head -n 1| sed 's/:$//' `
-# 转换格式
-xtuner convert pth_to_hf ./internlm2_5_chat_1_8b_qlora_wulewule_all_test.py ${pth_file} ./hf
-# 合并参数
-xtuner convert merge /root/models/internlm2_5-1_8b-chat ./hf /root/wulewule/models/wulewule_v1_1_8b --max-shard-size 2GB
-```
-### 🎨 模型量化
-使用一下命令对模型采取w4a16量化，更多操作请参考[lmdeploy官网文档](https://lmdeploy.readthedocs.io/en/latest/)
-```
-lmdeploy lite auto_awq \
-   /root/wulewule/models/wulewule_v1_1_8b \
-  --calib-dataset 'ptb' \
-  --calib-samples 128 \
-  --calib-seqlen 2048 \
-  --w-bits 4 \
-  --w-group-size 128 \
-  --batch-size 1 \
-  --search-scale False \
-  --work-dir /root/wulewule/models/wulewule_v1_1_8b-w4a16-4bit
-```
-**量化前后速度对比**
-| Model                       | Toolkit              | Speed (words/s) |
-| --------------------------- | -------------------- | --------------- |
-| wulewule_v1_1_8b            | transformer          | 68.0986         |
-| wulewule_v1_1_8b-w4a16-4bit | LMDeploy (Turbomind) | 667.8319        |
-修改`configs/model_cfg.yaml`文件开启基于lmdeploy的w4a16-4bit模型（默认开启）；`deploy/lmdeploy_model.py`里是一个简单的demo，修改配置后可以直接执行
-```
-python3 deploy/lmdeploy_model.py
-```
-### 🔎 RAG(检索增强生成)
-默认`data`目录为txt数据源目录，开启RAG后，会使用bce-embedding-base_v1自动将`data`目录下的txt数据转为换chroma向量库数据，存放在`rag/chroma `目录下（如果该目录下已有数据库文件，则跳过数据库创建），然后使用bce-reranker-base_v1对检索到的信息重排序后，将问题和上下文一起给模型得到最终输出。`rag/simple_rag.py`里是一个简单的demo，参数配置见`configs/rag_cfg.yaml`。
-RAG代码讲解见[rag配置](rag/readme.md)。
-## 📅 开发计划
-### 🌟 初版功能
-- [x] 游戏角色、背景故事、原著联系等知识问答助手
-- [x] 使用RAG支持游戏攻略、菜单、网络梗等新鲜知识的更新
-- [x] 基于OpenXLab使用LMDepoly实现初版demo部署
-- [ ] 增加history记忆，增加标准测试集，opencompass评估模型性能
-### 🤖 后续多模态版本
-- [ ] 加入语音多模态，如ASR（用户语音输入）、TTS（猴哥语音回答问题）
-- [ ] 加入图像生成，接入别人的[SD+LoRA模型]( https://www.qpipi.com/73996/ )，判断用户意图生成对应prompt的天命人
-- [ ] 加入音乐多模态，接类似[SUNO-AI](https://suno-ai.org/)，生成古典风格游戏配乐
-## 🙏 致谢
-非常感谢以下这些开源项目给予我们的帮助：
-- [InternLM](https://github.com/InternLM/InternLM)
-- [Xtuner](https://github.com/InternLM/xtuner)
-- [Imdeploy](https://github.com/InternLM/lmdeploy)
-- [InternlM-Tutorial](https://github.com/InternLM/Tutorial)
-- [HuixiangDou](https://github.com/InternLM/HuixiangDou)
-- [Streamer-Sales](https://github.com/PeterH0323/Streamer-Sales)
-最后感谢上海人工智能实验室推出的书生·浦语大模型实战营，为我们的项目提供宝贵的技术指导和强大的算力支持！
-## ⚠️ 免责声明
-**本项目相关资源仅供学术研究之用，严禁用于商业用途。** 使用涉及第三方代码的部分时，请严格遵循相应的开源协议。模型生成的内容受模型计算、随机性和量化精度损失等因素影���，本项目不对其准确性作出保证。对于模型输出的任何内容，本项目不承担任何法律责任，亦不对因使用相关资源和输出结果而可能产生的任何损失承担责任。本项目由个人及协作者业余时间发起并维护，因此无法保证能及时回复解决相应问题。

 ---
+title: 🐒悟了悟了🐒 — 《黑神话：悟空》AI助手
+emoji: 🐒
+colorFrom: purple
+colorTo: red
+sdk: streamlit
+sdk_version: 1.36.0
+app_file: app.py
+license: apache-2.0
+short_description: 基于InterLM的《黑神话：悟空》AI小助手，了解更多背后的故事-
+pinned: true
+disable_embedding: true
+---