5 月谷歌 I/O 大会上,新发布的 Gemini 1.5 大模型序列中出现了 Flash 版,主打轻量化和响应速度。到 7 月,OpenAI 又在 GPT-4o 的基础上推出了 Mini 版,号称比当前最为先进的小模型能力更强,价格更低。
如果你现在访问 ChatGPT,会发现原来的默认模型 GPT-3.5 已经消失,新的默认选项就是 GPT-4o mini。自 2022 年底一直沿用的 GPT-3.5 终于被取代了,这不禁让人们感叹 AI 技术进步速度之快。
这一波技术迭代的背后,是直面应用的底层逻辑。新一代大语言模型继续保持多模态、长上下文等方面的性能优势,又因为速度和效率的大幅提升获得了更多开发者的青睐。
在实际应用场景中,新模型适用于处理高频次、相对简单的任务,禁得起人们的反复调用。现在想要开发一个使用生成式 AI 技术的产品,不再是一件难事了。
最近,国内大模型平台市场份额领先的智谱,也正式宣布了新模型,并提出了一系列提升 AI 开发效率的工具。
智谱的最新版大模型 GLM-4-Flash 在 6 月份刚刚上线,在开放时 API 价格就已低至每 100 万 token 0.1 元,吸引了大量开发者使用。不论是国内还是国外,很多人都在社交网络上 po 出了自己的使用心得。
首先,要想调用大模型能力,有最简单的方法:通过 Python 脚本进行体验。智谱的官网上提供了一些示例,只需将其中的 api key 替换成自己的并修改其中的具体内容,就能很方便地使用这个大模型,比如可以在 VS Code 中使用它。
当然,你也可以将其集成到任何支持 API 接入的应用之中。比如在这里,我们可以将其引入到笔记软件 Obsidian 中。选择 BMO Chatbot 插件,下载启用之后,我们进入其设置选项,找到 API Connections 下的 OpenAI。这里之所以选择 OpenAI,是因为 GLM-4-Flash 的 API 协议基本与 OpenAI 一致。
这样你就可以将 GLM-4-Flash 引入到你的笔记工作流程之中,以下展示了部署好的示例,我们让 GLM-4-Flash 分析了一篇有关视觉语言模型的文章并让其建议了一些标题。
另一方面,说到大模型微调,上周二 OpenAI 正式上线了大模型的微调功能,引发了 AI 领域的关注。
OpenAI 的初衷,是帮助开发者能够低成本地构建个性化的应用。这次的智谱推出的大模型微调功能,也可以让我们通过微调工具,加入自身独有的场景数据,对平台提供的基础模型进行微调,快速使其定制化。这样做既符合了业务场景,也不需要进行复杂的调整或重新训练。
如果你认为基础模型无法满足复杂任务的需求时,使用微调可以获得更好的效果。微调可以让大模型表现出特定的风格,或是提高输出的可靠性,让大模型可以完成更加复杂的任务。
智谱目前已开放了 GLM-4-Flash、GLM-4-9B 等模型的 LoRA 微调和全参数微调能力。在微调的过程中,你需要准备并上传训练数据训练大模型,尝试部署并评估结果,最后完成的模型也可以快速部署。
我们可以看到,如今各家大模型公司提供的产品,越来越贴近实际需求了。这些充分考虑开发者,能够用起来的工具,对于 AI 的大规模应用来说意义重大。
GLM-4 大模型是智谱在今年 1 月推出的新一代基座大模型,它在十余项指标上逼近或达到了大模型标杆 GPT-4 的水准。与此同时,GLM-4 支持了更长的上下文、更强的多模态、更快的推理速度,以及更多并发请求,大大降低了推理成本。
从模型界面来看,GLM-4-Flash 支持多轮对话、自定义系统指令构建(比如设定模型身份、任务目标)以及网页搜索、知识库搜索和函数调用等工具调用功能。
此外,用户也可以自由调整 GLM-4-Flash 对话窗口的最大 tokens 数量(输入上下文长度)、模型温度(控制生成的随机性和创造性)、top_p(控制回答风格,保证输出结果正确性的同时增加多样性)。
测试 1:先来一道前段时间让很多大模型翻车的「9.11 和 9.9 哪个更大」问题,很容易就答对了。
类似的数字比较同样答对了。从解题思路来看,GLM-4-Flash 掌握了正确的小数位比较方法。
测试 2:此前研究机构 LAION 在一项研究中发现,GPT-3.5/4、Llama、Gemini、Claude 和 Mistral 等大模型回答「爱丽丝(女性)有 N 个兄弟,有 M 个姐妹,那么爱丽丝的兄弟有多少个姐妹呢?」问题时,正确率非常低。
如今,GLM-4-Flash 已经上线两个月,人们都在用这款大模型做什么?很多人展示了自己的应用方向,或许能给我们带来一些启发。据介绍:
有生物学博士正在利用 GLM-4-Flash 模型处理复杂分子数据,大大提高了科研工作中数据处理的效率。通过 AI+Science,生物学和大模型的结合,我们可以探索基因序列与人类健康之间的深层联系;
有一群年轻科研人员正在使用 Flash 模型生成高质量数据材料。这些数据可以用于自身研究,也可以用于给其他领域的大模型进行训练;
有独立开发者发现 Flash 模型可用于高效翻译,开发出来的中英文翻译 APP 不仅提供翻译能力,还有互动学习模块。通过基于智谱大模型的 APP,小朋友可以在轻松愉快的环境下学习英语。这款 APP 已经帮助了大量学习者;
还有广告公司发现了 Flash 模型在内容创作上的巨大潜力。他们构建了应用对文章进行润色,帮助编辑和文案人员在创作过程中提升效率。AI 大模型可以联网获取最新信息,并提供创意灵感,保证了文案的质量和一致性。
看来,在速度更快,性能足够强大的 GLM-4-Flash 版本上,一些简单垂直,需要快速响应的应用已经得到了充分的验证。
8 月 27 日,智谱 BigModel 开放平台正式宣布:GLM-4-Flash 全部免费,同时开启限时免费微调活动。
GLM-4-Flash 是智谱首次开放免费 API 的大模型,支持长度达 128K 的上下文。在用户调用量上,智谱做到了原有调用用户并发不变,新用户有两个并发,还可以申请进一步提高。
而在 GLM-4-Flash 微调赠送额度上,如果立即申请,你可以获得 500 万 token (3 个月)的训练资源包,限额 2000 位,先到先得。智谱还将开放 GLM-4-Flash 模型的微调权重下载,很快人们将可以自由选择部署平台。
这一系列行动,展示了国内大模型公司在应用层面的独特优势。在大模型技术对标国际先进水平的同时,国内 AI 的先头部队已经打磨好「内功」,通过系统优化大幅提升了推理效率。
现在,免费开放的大模型已经可以惠及广大开发者,让人不花一分钱就可以上线基于大模型的智能应用。
上一篇:互联网急缺人才Python工程师成“珍惜动物”!
下一篇:妙呀!Python能助你拿到高薪offer 湖南卓京软件学院