达方的博客

最近折腾小模型，觉得小模型有机会成为大模型落地应用的一个途径。可以把大模型看作操作系统，小模型是操作系统上的应用。这样小模型的”小巧”，配合落地场景的个性化数据与应用需求，可能会解决大模型应用落地的问题。
我在两台机器上分别都部署了一次，过程非常简单，对机器配置要求不高，适合自己动手在本机部署模型玩一下的需求。

安装环境

台式机
操作系统：Windows10 WLS ubuntu22.04
CPU：Intel(R) Core(TM) i7-4790 CPU @ 3.60GHz   3.60 GHz
内存：16G
显卡：GTX745
PYTHON版本：3.10

笔记本
操作系统：Ubuntu 22.04.2 LTS
CPU：Intel(R) Core(TM)  i5-9300H CPU @ 2.40GHz × 8
内存：16G
显卡：NVIDIA Corporation GP107M [GeForce GTX 1050 3 GB Max-Q]
PYTHON版本：3.10

安装过程

一、建立安装空间和python虚拟环境。

在硬盘上建立一个Ai的文件夹，未来所有的安装和配置都在这个文件夹下进行。

mkdir Ai

在Ai文件里建立虚拟环境。

cd  Ai
python3 -m venv . （如果没有安装python的venv包，会提示进行安装）

进入到Python虚拟环境

source bin/activate

二、在Python虚拟环境下，进行Qwen-1.8B本机部署。
安装git。网上自行寻找安装教程。github的访问稳定性和速度，想办法解决吧。
在Ai目录下，下载Qwen包

git clone https://github.com/QwenLM/Qwen.git

进入到Qwen文件夹，安装运行需要的包。

cd Qwen
python3 -m pip install --upgrade pip (升级pip到最新版本，最好把pip源改成国内镜像)
pip3 install -r requirements.txt
pip3 install -r requirements_web_demo.txt

下载模型（需要先安装 Git LFS）
建立models文件夹

kdir models
cd models

#开始下载（时间和你的网络速度相关）
git lfs install  
git clone https://www.modelscope.cn/qwen/Qwen-1_8B-Chat.git

三，运行Qwen

从models目录回到你的Qwen目录下，修改文件web_demo.py，将默认模型文件的路径修改到你的路径。

DEFAULT_CKPT_PATH = '/Qwen/models/Qwen-1_8B-Chat' （最好写成绝对路径）

运行模式

python web_demo.py

看看效果

这样一个小模型在本机上跑，我的配置回复完成这些内容，需要2分钟左右吧。如果是一块好的显卡，估计飞快。github上有模型微调的教程，下一步可以根据找个教程，租用一个算力，自己动手微调一下这个模型。任何事物的学习，光看不动手，是学不到东西的。

大语言模型(Large Language Models, LLMs)是采用神经网络进行无监督学习的语言模型。通过海量的数据,LLMs可以学习语言的统计规律和语义知识,并生成与输入语境相关联的自然语言。LLMs代表了基于深度学习的最新进展,在自然语言处理领域产生了里程碑般的影响。如BERT(Bidirectional Encoder Representations from Transformers)和GPT-3(Generative Pre-trained Transformer 3)就是两个典型的LLM实例。BERT是一个语言表示学习模型,可广泛应用于语言理解任务,如问答系统、文本分类与推荐等。而GPT-3是一个语言生成模型,可以根据提示语言生成连贯的文章、对话、故事等长文本。这两个模型均已在各自的方向上显示出超越人类的语言能力, 现在火遍全球的ChatGPT就是一种语言生成模型。（以上信息来源于百科+AI生成）
2023年可以说是全球大语言模型发展的元年，未来从基础应用场景上看，大语言模型(LLM)发展会有那些模式呢？尝试不成熟的胡想一通。未来大语言模型(LLM)发展的可能有三种模式。
第一种,母体模式。几个超大模型作为母体模型,利用自己超强的算力、算法能力和海量的可持续的数据积累,形成母体模型。围绕的母体模型,形成AI应用的生态。这种模式已初步形成,像ChatGPT已经开始构建相关应用生态。后续其他大模型的发展，必然会将生态应用一并考虑进去。
第二种,应用模式。随着大语言模型不断优化与发展,以及硬件设备算力成本的持续下降,使大语言模型的训练和部署对硬件需求不断减少。未来或许每个移动终端都可以运行自己的大语言模型。但是,每个人都拥有一个大模型似乎造成资源浪费,且模型个性化并不是一个容易解决的问题。
第三种,分布式模式。通过协议和网络连接,将大语言模型分布式部署。每个节点利用自己的数据进行本地训练,然后共享训练过程与结果。最终形成一个网络化大模型。这种模式理想但难度较大,一方面技术复杂,成本高;另一方面利益归属难以确定,管理难度大。
从当前发展来看,第一种母体模式可能性最大。第三种分布式模式虽然理想,但实践难度高,并且不符合资本与管理的诉求。第二种应用模式需要语言模型与硬件同步发展,但每个人拥有一个大模型的必要性值得商榷。
无论采取何种模式,大语言模型技术的发展已成必然。未来有一天，当我们再次购买移动终端设备的时候，里面默认安装的可能就不是一个操作系统了，还会有一个底层的AI系统，或者是具有AI能力的操作系统了。而移动终端上不再是一个个APP，而是一个个MAPP了。

最近尝试了Qwen-1.8B这个小型AI模型，它的部署过程简单，对计算资源的要求不高，而其输出效果也不错。这让我在想，以小模型为核心的应用，是否会成为人工智能场景化应用的一种可能？
我们熟知的LLM（大型语言模型）应用，大多是通过与基座模型进行对话来实现。开发者通过特定的prompt来适配大模型的能力，以获得期望的输出。然而，这种方式存在一些局限：
● 用户可用的交互手段相对单一，主要是通过prompt进行。
● 交互的结果受限于大模型的预先训练和调教效果。
这些局限可能会阻碍用户在特定场景下实现专业化应用。尽管大模型提供了API接口，但对实现个性化和专业化的输入输出效果仍不够理想。
然而，对大多数场景和用户来说，部署和调教一个个性化的基座大模型是不切实际的。这时，小模型的优势就显现出来了。小模型源自大模型，通过2至3B的参数精调而成。它们相对独立，同时也能与大模型进行有效的信息和数据传输，类似于社区医院和三甲医院之间的关系。小模型部署在本地，进行个性化的调教与交互，遇到难题时可以通过与大模型的通信获得协助。这样，小模型将越来越场景化、专业化和个性化，而大模型则通过广泛的小模型应用，形成智能化生态，成为整个生态的“大脑”。
这种小模型和大模型的关系，与手机操作系统和应用商店之间颇为相似。操作系统负责驱动硬件，提供基础功能，而应用商店则利用这些基础功能，驱动手机硬件，生成个性化的APP应用。现在一个手机的应用动辄就是几个G，或者二三十个G，我测试玩Qwen-1.8B整个系统跑起来也不到10G的空间，对于当下的手机存储空间发展趋势来说，肯定是够用的。何况，基于小模型应用，核心模型大概率也是跑在应用的server端上。
小模型本地化应用还面临一个挑战，那就是手机算力。如果这条路走通，相信硬件厂商会迅速解决这个问题。毕竟，让全球集体更换一次手机，是任何硬件厂商都乐于看到的事情。
小模型本地化，个性化的调教，是可以尝试做一些人工智能场景化应用的。随着技术的不断进步和硬件的升级，模型能力，硬件算力和网路通讯能力都不会成为小模型应用的障碍。