1 正向索引和反向索引先介绍一下正向索引: 当用户发起查询时（假设查询为一个关键词），搜索引擎会扫描索引库中的所有文档，找出所有包含关键词的文档，这样依次从文档中去查找是否含有关键词的方法叫做正向索引。互联网上存在的网页（或称文档）不计其数，这样遍历的索引结构效率低下，无法满足用户需求。正向索引结构如下:文档1的ID→单词1的信息；单词2的信息；单词3的信息…文档2的ID→单词3的信息；单词2的信

多任务学习（Multi-task learning）是和单任务学习（single-task learning）相对的一种机器学习方法。在机器学习领域，标准的算法理论是一次学习一个任务，也就是系统的输出为实数的情况。复杂的学习问题先被分解成理论上独立的子问题，然后分别对每个子问题进行学习，最后通过对子问题学习结果的组合建立复杂问题的数学模型。多任务学习是一种联合学习，多个任务并行学习，结果相互影响。

QLoRA是一个使用量化思想对LoRA进行优化的量化算法，可以显著的降低训练大模型时所需要的显存资源。QLoRA的优化有三个核心要点：首先是定义了一种4位标准浮点数（Normal Float 4-bit，NF4）量化，基于分块的分位数量化的量化策略；其次是双重量化，包含对普通参数的一次量化和对量化常数的再一次量化，可以进一步减小缓存占用；最后是分页优化器（Page Optimizer），用来在显存

LORA 是一种低资源微调大模型方法，出自论文 LoRA: Low-Rank Adaptation of Large Language Models。 使用 LORA，训练参数仅为整体参数的万分之一、GPU 显存使用量减少 2/3 且不会引入额外的推理耗时。 高效微调（PEFT）的基本原理full fine-tuning：在微调过程中模型加载预训练参数进行初始化，并通过最大化语言模型概率

PEFT（Parameter-Efficient Fine-Tuning） 是一种针对大规模预训练模型（如 GPT、BERT 等）设计的高效微调技术框架。PEFT 的目标是在不更新或仅少量更新模型参数的情况下，使模型能够高效适配新任务。这种方法大幅降低了微调的计算和存储成本，并在多任务学习和领域适配中展现了强大的灵活性。 1 LoRA（Low-Rank Adaptation）对模型的权重调整部分使

项目地址GitHub地址：Chunfei-He/MyRAG (github.com) 项目进度 数据处理pipeline done 目前数据源：项目README.md文件、阿里2023财报.pdf、斗破苍穹小说.txt、iPhone使用手册（ios5）.pdf、中华人民共和国消费者权益保护法.pdf 实现功能：搭建web demo页面可针对上述文件提问，对于没有相关信息的问题可以拒绝

除了基于常规的文档做问答，实际上还可以基于数据类做问答： 基于Mysql数据库：通过Embedding的方式将表的Schema、表数据全部向量化，然后用户可以问问题比如“查询王五的考试成绩”，模型根据上下文自动生成SQL查询语句，然后调用工具执行 基于数据仓库：同样是通过Embedding的方式将表的Schema、表数据全部向量化，然后用户可以问问题比如“查询某某团队的代码提交数据”，模型根据

https://liaoxuefeng.com/blogs/all/2023-07-31-qa-using-embeddings/index.html 1、当前存在的问题我们希望把API文档、帮助文档等“事实回忆”的内容，通过Chat的方式可以快速获得。当前的GPT、一言等存在以下几个问题： 【时效性】训练数据是基于某个时间之前的数据，缺少最新的数据，而且每一次增加最新的数据都会带来高昂的训练成

大语言模型的思维过程https://github.com/AGI-Edgerunners/Plan-and-Solve-Prompting最近，大型语言模型 (LLM) 已被证明可以在各种 NLP 任务中提供令人印象深刻的性能。 为了解决多步骤推理任务，少样本思维链（CoT）提示包括一些手动制作的逐步推理演示，使LLM能够显式生成推理步骤并提高推理任务的准确性。 为了消除手动工作，Zero-s

https://mp.weixin.qq.com/s/jd0BU_vUSFvswdsQP2nFDQ