大模型开发

一、大模型开发指南

参考资料：https://datawhalechina.github.io/llm-universe/#/

现有大模型： 1. 闭源： 1. GPT 2. Gemini 3. 文心一言 4. 讯飞星火 2. 开源 1. LLaMa 2. 通义千问

RAG和微调是两种提升模型效果的手段。

LangChain为主流的大模型应用开发框架。

通过提示工程、数据工程、业务逻辑分解等手段来充分发挥大模型能力。

高效Prompt的两个关键原则：编写清晰、具体的指令和给予模型充足思考时间。给予模型充足思考时间的大意是说让模型逐步推理，而不要求模型一口气吃成大胖子。

将单个文档按长度或者按固定的规则分割成若干个chunk，然后将每个chunk转化为词向量。

向量检索主要考虑余弦相似度和MMR。

提示模版

js-openaiAPI文档：https://platform.openai.com/docs/api-reference/authentication

二、提示工程

参考资料：https://www.promptingguide.ai/zh

提示技术

零样本提示。

利用上下文学习：少样本提示。

CoT、零样本CoT、Auto-CoT

自我一致性：给予多个QA进行训练，最后输出多个回答，采取最一致的回答作为答案。

生成知识提示：先提示生成知识，再提问题要答案。

链式提示：将任务分解成子任务。

思维树：将生成、评估以及搜索算法相结合，以便验证与回溯。

RAG：处理知识密集型任务，这里的微调是什么意思？用专业知识喂出一个适合垂直领域的ai

三、LLMBook

九、部署与编码

解码：针对输入内容逐个单词生成输出内容的文本。