【深度优化：Intel的大模型框架方案】

除了AI大模型，大家应该还能经常听到框架一词。

所谓框架，就是一种用于开发、训练、部署AI模型的软件平台，它提供了一系列的工具、库和接口，帮助开发者更高效地构建和实验各种AI模型，可进行数据处理、模型构建、模型训练、模型评估、模型部署等全流程工作。

AI框架非常多，仅仅是开源的就有100个左右，目前常见常用的有：Google TensorFlow、PyTorch、Ollama、Keras、MXNet、Caffe、Haystack，等等。

Ollama就是一个轻量级的、可扩展的框架，可在本地创建和运行大模型，优点是开源、兼容社区工具链，适合在端侧运行量化模型，缺点是原生支持的硬件有限，网络下载模型也可能不是很顺畅。

如今，Intel AI PC就已经可以很好地支持Ollama，后续我们也会通过专题的方式为大家介绍如何在Intel平台上部署Ollama。

值得一提的是，Intel已将IPEX也就是Intel PyTorch框架扩展库与Ollama进行了整合，体积大约200MB，在魔搭社区上提供，可以高速直接下载模型。

Intel IPEX可以更好地提升PyTorch在Intel平台上的训练和性能。

在这方面，神州数码就与Intel展开了深度合作，推出了大模型本地部署产品“爱问学”。

爱问学主要面向AI PC应用开发者，可以轻松地一键部署本地大模型，让开发者不再需要关心底层硬件迭代

它通过模型蒸馏与优化技术，将大模型压缩成轻量化版本，用户只需一键操作，5分钟内就能在PC上完成本地化模型安装，无需配置复杂环境或理解专业参数，零技术背景也能轻松上手。

它还能再多种本地模型之间自由切换，均可离线运行，此外支持个人私密AI知识库，并提供开箱即用的工具集。

爱问学的模型仓库涵盖Ollama、HuggingFace、ModelScope(魔搭)，方便开发者随时获取最新版本。