大语言模型如ChatGPT在多个领域和任务中展现出卓越的能力，但在普通用户设计最优指令或提示时，它们的应用和使用有时可能并不清晰。而他们的工作是为开发人员或普通用户揭示与LLMs询问和交互时时“神秘的黑盒”，并通过简单地策划更好的提示来进一步提高预训练LLMs的响应质量。 研究团队提出了26条用于 LLM 提示的原则： 与LLM交流时，无需使用礼貌性语言，如“请”、“如果你不介意”、“谢谢”等，

在通常的预测任务中，我们拟合的实际是Y与X的相关关系，X甚至可以是Y的结果，如GDP和发电量之间可能有一系列复杂的关系，但只要二者相关就可以互相预测。在另一些场景中则有所区别，如预测任务要指导干预(Treatment)决策时，我们所能掌控的只有Treatment变量，此时我们希望知道的是执行干预与否的效果差异(通常看增量，uplift)，目的是决策是否执行或执行何种干预。如在“发券&下单”

https://www.youtube.com/playlist?list=PLtBw6njQRU-rwp5__7C0oIVt26ZgjG9NI 从递归的关系开始如何定义一个关系，将网络在特定时间步长的计算与来自先前时间步长的历史记忆联系起来?我们简单地将网络所理解的计算和信息通过我们称之为递归关系的方式链接到其他副本。这意味着在特定时间的网络计算的某些方面被传递给稍后的时间步长。这意味着网络的输

prompt当前大模型是没有“心算”能力的，无法探知自然语言背后的“隐含信息”，对于中文隐含信息量又是及其庞大的。但我们可以通过提示词让模型将心算能力摆在前台，通过上下文将隐含信息摆在前台。举个例子： 36 * 12等于几，人类通过心算时大部分会拆成3610=360放在心里某个位置，然后在算362=72放在心里某个位置，最终相加得出结果，而模型没有地方可以放这个临时值 这种

pretraining，SFT, RLHF1.Pretraining:第一阶段预训练所需的语料是各种类型的世界知识，包括网页、书籍、新闻、论文期刊、对话文本、代码等形式，通过大量学习世界知识，构建模型的基础能力，使得模型能够“漂亮地说话”。该阶段的语料特征可以概括为“广“。给模型海量的文本进行训练，99%的计算量花费在这个阶段，输出的模型叫做base model，能做的事情就是像成语接龙一样不断的

https://github.com/openai/openai-cookbook/blob/main/examples/How_to_call_functions_with_chat_models.ipynbChat聊天：纯粹的Chat,像是一个主要由“大脑和嘴”构成的智能体，专注于信息处理和语言交流。比如ChatGPT这样的系统，它能够理解用户的查询，给出有用和连贯的回答，但它本身不直接执行任

https://zhuanlan.zhihu.com/p/629024155 openai的completion与embedding接口1.Completion可以让模型根据用户的输入进行目动续写，Completion接口，一万面可以直接当作天机器人使用，另一方面，只要善用prompt提示词，就能完成文案撰写、文本摘要、机器翻译等工作2.Embedding可以将用户输入的文本转化成向量。Embed

引言https://platform.openai.com/tokenizerOpeA的大型语言模型（即GPT)使用标记处理文本，标记是一组文本中常见的字符序列。模型学习理解这些标记之间的统计关系，并擅长生成标记序列中的下一个标记。您可以使用相关工具来了解语言模型如何对一段文本进行标记，以及该段文本中标记的总数 token是什么在自然语言处理(NLP)中，token是指一组相关的字符序列，例如一个

generativeGenerative这个单词，揭示了Chat Gpt的本质就是一个词语接龙器。比如，问：今天天气很糟。GPT的工作是步骤是：1)检查句子是不是完整。假如我问的是：“今年天气很”，那么GPT的回答很可能是：很抱歉，您的信息不完整。2)把“今天天气很糟”作为输入，从众多中文字里面选出一个频率最高的单词，这里是“很”；3)然后把“今天天气很糟，很作为输入，得到今天天气很糟，很遗憾”；

将高维数据映射到低维空间。Embedding的最大价值是降维：在许多实际问题中，原始数据的维度往往非常高。例如，在自然语言处理中，如果使用One-hot编码来表示词汇，其维度等于词汇表的大小，可能达到数十万甚至更高。通过Embedding,我们可以将这些高维数据映射到一个低维空间，大大减少了模型的复杂度。