大语言模型开发:用开源模型开发本地系统

作者: 范煜

出版社: 清华大学出版社

出版日期: 2024-09-01

电子书 ¥76.7 定价:118.0
  • 收藏

  • 加书架

  • 引用

简介

本书旨在帮助读者理解开源大语言模型的架构、训练和推理过程,以及相关的源代码。主要研究对象是Meta开源的Llama模型。本书从Python Numpy实现单层感知机和神经网络开始,逐步讲解了如何实现Transformer模型和Llama模型。此外,本书还介绍了增量预训练模型、监督微调和人类反馈强化学习等模型训练过程。对于私有知识的加入,书中重点介绍了监督微调,也介绍了RAG中词向量的计算。本书采用循序渐进的方式,通过功能框图、代码分解执行、执行结果显示、背景知识补充等手段帮助读者理解模型和算法。 本书的核心读者群体定位为大语言模型应用的开发人员,特别适合那些想从计算机视觉转向自然语言处理的人。此外,本书还适合作为大学本科生及研究生相关课程的参考教材使用。

编辑推荐

•本书基本覆盖大语言模型开发的多个方面。整体上可以参照OpenAI的安德烈•卡帕西(Andrej Karpathy)在微软的2023年Build大会报告中介绍的GPT助手训练流程。 •本书的内容来源不仅包含网络上的各类教程和文章,也包括原始论文和源代码。 •本书不但适用于大型语言模型应用开发人员,而且对于渴望深度探究ChatGPT背后的运行机制,更高效地运用和优化其功能的实践者,同样具有极高的参考价值。

更多出版物信息
  • 版权: 清华大学出版社
  • 出版: 2024-09-01
  • 作者:范煜
  • 更新: 2024-11-13
  • 书号:9787302670513
  • 中图:TP391
  • 学科:
    工学
    控制科学与工程
    工学
    计算机科学与技术

作者信息

范煜

范煜,江苏南通人,毕业于南京航空航天大学,研究员级高级工程师,中国商业联合会数据分析专业委员会专家组成员,南通理工学院教师,上海范思软件有限公司创始人,中国移动集团、51CTO外聘讲师经常在全国各地讲授大数据、数据分析人工智能、大语言模型等方面课程。研发了Fancy Q&A大语言模型应用开发平台。著有《人工智能与ChatGPT》《数据革命:大数据价值实现方法、技术与案例》。兼具人工智能、大数据、软件、工业控制(嵌入式系统和软PLC)技术背景。目前主要从事基于大语言模型的知识库建设与知识问答应用的研究和开发。