项目地址GitHub地址：Chunfei-He/MyRAG (github.com) 项目进度 数据处理pipeline done 目前数据源：项目README.md文件、阿里2023财报.pdf、斗破苍穹小说.txt、iPhone使用手册（ios5）.pdf、中华人民共和国消费者权益保护法.pdf 实现功能：搭建web demo页面可针对上述文件提问，对于没有相关信息的问题可以拒绝

除了基于常规的文档做问答，实际上还可以基于数据类做问答： 基于Mysql数据库：通过Embedding的方式将表的Schema、表数据全部向量化，然后用户可以问问题比如“查询王五的考试成绩”，模型根据上下文自动生成SQL查询语句，然后调用工具执行 基于数据仓库：同样是通过Embedding的方式将表的Schema、表数据全部向量化，然后用户可以问问题比如“查询某某团队的代码提交数据”，模型根据

https://liaoxuefeng.com/blogs/all/2023-07-31-qa-using-embeddings/index.html 1、当前存在的问题我们希望把API文档、帮助文档等“事实回忆”的内容，通过Chat的方式可以快速获得。当前的GPT、一言等存在以下几个问题： 【时效性】训练数据是基于某个时间之前的数据，缺少最新的数据，而且每一次增加最新的数据都会带来高昂的训练成

大语言模型的思维过程https://github.com/AGI-Edgerunners/Plan-and-Solve-Prompting最近，大型语言模型 (LLM) 已被证明可以在各种 NLP 任务中提供令人印象深刻的性能。 为了解决多步骤推理任务，少样本思维链（CoT）提示包括一些手动制作的逐步推理演示，使LLM能够显式生成推理步骤并提高推理任务的准确性。 为了消除手动工作，Zero-s

https://mp.weixin.qq.com/s/jd0BU_vUSFvswdsQP2nFDQ

大语言模型如ChatGPT在多个领域和任务中展现出卓越的能力，但在普通用户设计最优指令或提示时，它们的应用和使用有时可能并不清晰。而他们的工作是为开发人员或普通用户揭示与LLMs询问和交互时时“神秘的黑盒”，并通过简单地策划更好的提示来进一步提高预训练LLMs的响应质量。 研究团队提出了26条用于 LLM 提示的原则： 与LLM交流时，无需使用礼貌性语言，如“请”、“如果你不介意”、“谢谢”等，

在通常的预测任务中，我们拟合的实际是Y与X的相关关系，X甚至可以是Y的结果，如GDP和发电量之间可能有一系列复杂的关系，但只要二者相关就可以互相预测。在另一些场景中则有所区别，如预测任务要指导干预(Treatment)决策时，我们所能掌控的只有Treatment变量，此时我们希望知道的是执行干预与否的效果差异(通常看增量，uplift)，目的是决策是否执行或执行何种干预。如在“发券&下单”

https://www.youtube.com/playlist?list=PLtBw6njQRU-rwp5__7C0oIVt26ZgjG9NI 从递归的关系开始如何定义一个关系，将网络在特定时间步长的计算与来自先前时间步长的历史记忆联系起来?我们简单地将网络所理解的计算和信息通过我们称之为递归关系的方式链接到其他副本。这意味着在特定时间的网络计算的某些方面被传递给稍后的时间步长。这意味着网络的输

prompt当前大模型是没有“心算”能力的，无法探知自然语言背后的“隐含信息”，对于中文隐含信息量又是及其庞大的。但我们可以通过提示词让模型将心算能力摆在前台，通过上下文将隐含信息摆在前台。举个例子： 36 * 12等于几，人类通过心算时大部分会拆成3610=360放在心里某个位置，然后在算362=72放在心里某个位置，最终相加得出结果，而模型没有地方可以放这个临时值 这种

pretraining，SFT, RLHF1.Pretraining:第一阶段预训练所需的语料是各种类型的世界知识，包括网页、书籍、新闻、论文期刊、对话文本、代码等形式，通过大量学习世界知识，构建模型的基础能力，使得模型能够“漂亮地说话”。该阶段的语料特征可以概括为“广“。给模型海量的文本进行训练，99%的计算量花费在这个阶段，输出的模型叫做base model，能做的事情就是像成语接龙一样不断的