随着人工智能技术的飞速发展，大语言模型已经成为了自然语言处理领域的热点。这些模型通过海量的数据训练，能够理解和生成自然语言，被广泛应用于文本生成、机器翻译、问答系统等领域。本地部署和微调这些模型，能够使得教师更好地利用这些技术进行教育教学和学术研究。因此我院展开了大语言模型本地部署和微调培训，旨在提升教师的人工智能技术应用能力，推动教育教学和学术研究的创新和发展。

5月16日下午，教师讲坛第37讲——大语言模型本地部署和微调培训，于我校B3-210举行，本次讲座的主讲嘉宾系智能科学与工程学院大数据管理与应用系刘杰平副教授，学院教师参与聆听讲座。

本次讲座首先引入了几个基础概念，并运用比较的方式来进行介绍，例如开源大模型与在线大模型，GPU与CPU,模型文件与项目文件,其中，开源大模型的源代码开源，可以部署到本地使用，而在线大模型只能通过API在线调用。CPU擅长处理复杂的逻辑控制和串行操作，在操作系统、办公软件等需要强大单核性能的应用中发挥重要作用，它拥有较少但功能强大的处理核心，擅长处理复杂的指令和控制流程。而GPU拥有大量简单的处理核心，擅长大规模的并行处理任务，如图形渲染、深度学习等。接着介绍了大模型部署需要的环境，分为硬件环境和软件环境，其中软件环境包括操作系统和应用软件。谈到人工智能平台PAI，主要介绍了阿里云人工智能平台PAI。关于Qwen-1.8B- Chat模型本地部署，有纯手工部署，ollama部署，模型的本地部署方法很多，还可以通过transformers、modelscope等Python库进行模型推理，在推理时自动下载模型文件，或者vLLM框架等部署。关于Qwen-1.8B- Chat模型本地推理部分，介绍了Web_demo，Transformers库的API，OpenAI API格式的API，langchain框架的API。关于Qwen-1.8B- Chat模型本地微调部分，主要有环境准备，数据集准备，微调训练，模型合并，最后通过实操展示了效果对比。刘杰平副教授在培训中运用了大量的实操案例来进行讲解，便于教师更好的理解和运用。

人工智能技术已成为教育领域的重要工具，学习大语言模型本地部署和微调有助于教师跟上教育现代化的步伐，提升教育教学质量。通过本次培训，教师可以学习到最新的AI技术，而掌握这些技术可以帮助他们在学术研究领域取得新的进展，开展更多创新性研究。同时可以探索将大语言模型集成到教学过程中的新方法，创新教学模式，提高教学质量，推动学院的发展。