一行命令,本地、离线运行大模型

Ollama简介

一句话概括:Ollama 是一个允许您在计算机上本地运行开源大语言模型(LLM)的工具

极简安装并运行大模型

安装客户端:https://ollama.com/download

下载后安装即可

然后就可以在Terminal中一个命令下载、运行大模型,比如最近大火的mistral,4G左右。

模型下载完成后就可以直接在Terminal中聊天了

我的电脑是丐版MacBook Air M1,推理时巨卡无比

Olamma支持大模型列表

https://ollama.com/library

Model Parameters Size Download
Llama 2 7B 3.8GB ollama run llama2
Mistral 7B 4.1GB ollama run mistral
Dolphin Phi 2.7B 1.6GB ollama run dolphin-phi
Phi-2 2.7B 1.7GB ollama run phi
Neural Chat 7B 4.1GB ollama run neural-chat
Starling 7B 4.1GB ollama run starling-lm
Code Llama 7B 3.8GB ollama run codellama
Llama 2 Uncensored 7B 3.8GB ollama run llama2-uncensored
Llama 2 13B 13B 7.3GB ollama run llama2:13b
Llama 2 70B 70B 39GB ollama run llama2:70b
Orca Mini 3B 1.9GB ollama run orca-mini
Vicuna 7B 3.8GB ollama run vicuna
LLaVA 7B 4.5GB ollama run llava
Gemma 2B 1.4GB ollama run gemma:2b
Gemma 7B 4.8GB ollama run gemma:7b

Gemma是由Google DeepMind构建的一系列轻量级、最先进的开放模型。

Llama 2是一系列基础语言模型,参数范围从7B到70B。

Mistral发布的7B模型,更新至版本0.2。

Mixtral是Mistral AI提供的一款高质量的专家混合(MoE)模型,开放权重。

LLaVA是一个全新的大型多模态模型,结合了视觉编码器和Vicuna,用于通用的视觉和语言理解。更新至版本1.6。

neural-chat是基于Mistral的经过微调的模型,覆盖了良好的领域和语言范围。

Codellama是一个可以使用文本提示生成和讨论代码的大型语言模型。

Dolphin-mixtral是基于Mixtral的专家混合模型的未经审查、经过微调的模型,在编码任务上表现出色。由Eric Hartford创建。

Mistral OpenOrca是一个7亿参数的模型,在Mistral 7B模型的基础上使用OpenOrca数据集进行了微调。

Orca-mini是一个通用模型,参数范围从30亿到70亿,适合入门级硬件。

Phi-2:由微软研究院开发的2.7B语言模型,展示了出色的推理和语言理解能力。

DeepSeek Coder是一个强大的编码模型,经过两万亿代码和自然语言标记的训练。

基于Mistral的未经审查的Dolphin模型,在编码任务上表现出色。更新至版本2.6。

Vicuna是基于Llama和Llama 2的通用聊天模型,上下文大小从2K到16K不等。

Wizard Vicuna Uncensored是一个基于Llama 2的未经审查的7B、13B和30B参数模型,由Eric Hartford创建。

Zephyr beta是Mistral的7B版本的微调版本,训练涵盖了公开可用的、合成的数据集混合。

OpenHermes 2.5是一个7B模型,由Teknium在Mistral的基础上使用完全开放的数据集进行了微调。

State-of-the-art的代码生成模型。

Qwen 1.5是阿里巴巴云提供的一系列大型语言模型,参数范围从0.5B到72B。

Llama 2基础上的模型,经过微调以提升中文对话能力。

基于Code Llama的代码生成模型。

TinyLlama项目是一个开放的尝试,旨在训练一个紧凑的1.1B Llama模型,使用了3万亿标记。

OpenChat是一系列在多种数据上训练的开源模型,超越了ChatGPT在各种基准测试上的表现。更新至版本3.5-0106。

Orca 2由微软研究院构建,是Meta的Llama 2模型的微调版本。该模型特别擅长推理。

Nous Research提供的基于Llama和Llama 2的通用使用模型。

由Eric Hartford创建的2.7B未经审查的Dolphin模型,基于微软研究院的Phi语言模型。

TinyDolphin是一个实验性的1.1B参数模型,基于Eric Hartford的新Dolphin 2.8数据集并基于TinyLlama训练。

Starling是一个通过AI反馈的强化学习训练的大型语言模型,专注于提高聊天机器人的帮助性。

基于Llama2的优秀代码生成模型。

StarCoder是一个在80多种编程语言上训练的代码生成模型。

微调的Llama 2模型,基于一个开源医疗数据集回答医疗问题。

BakLLaVA是一个多模态模型,由Mistral 7B基础模型与LLaVA架构增强而成。

未经审查的基于Llama2的模型,支持16K上下文窗口。

Stable Code 3B是一个模型,提供准确且响应迅速的代码完成,与如CodeLLaMA 7B这样体积是其2.5倍的模型相当。

Solar是一个紧凑但强大的10.7B大型语言模型,专为单轮对话设计。

基于Llama 2的模型,经过微调,适用于Orca风格的数据集。最初被称为Free Willy。

SQLCoder是一个在StarCoder的基础上针对SQL生成任务微调的代码完成模型。

Mistral的扩展,支持64K或128K的上下文窗口。

Nous Research的Nous Hermes 2模型,现在在Mixtral上进行训练。

Samantha-Mistral是一个在哲学、心理学和个人关系方面接受训练的伴侣助手。基于Mistral。

StableLM-Zephyr是一个轻量级聊天模型,允许在不需要高端硬件的情况下提供准确且响应迅速的输出。

Meditron是一个开源的医疗大型语言模型,从Llama 2适应到医疗领域。

Wizard Vicuna是一个基于Llama 2的13B参数模型,由MelodysDreamj训练。

Magicoder是一个家族,包括7B参数模型,使用OSS-Instruct的75K合成指令数据训练,这是一种用开源代码片段启发LLM的新方法。

Stable LM 2 1.6B是一个最先进的1.6亿参数的小型语言模型,训练涵盖了英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语的多语言数据。

Llama 2的扩展,支持高达128k标记的上下文。

Nous Research提供的强大的模型家族,在科学讨论和编码任务上表现出色。

DeepSeek LLM是一个先进的语言模型,使用2万亿双语标记制作。

Llama 2的扩展,专门整合了通用语言理解和特定领域知识,特别是在编程和数学方面。

Open Orca OpenChat模型和Garage-bAInd Platypus 2模型的融合。设计用于聊天和代码生成。

Codebooga是通过合并两个现有代码模型创建的高性能代码指导模型。

Nexus Raven是一个为函数调用任务调优的13B指令模型。

MistralLite是基于Mistral的经过微调的模型,增强了处理长上下文的能力。

Goliath是通过将两个微调的Llama 2 70B模型结合成一个而创建的语言模型。

Notux是一个顶级表现的专家混合模型,经过高质量数据微调。

Alfred是一个强大的会话模型,设计用于聊天和指导用例。

MegaDolphin-2.2-120b是通过将Dolphin-2.2-70b模型与自身交错而创建的转换。

Nomic-embed-text是一个高性能的开放嵌入模型,具有8192标记的上下文窗口。

Wizardlm是基于Llama 2的70亿参数的通用使用模型。

Xwinlm是基于Llama 2的会话模型,在各种基准测试上表现竞争力。

Notus是一个基于Zephyr的7B聊天模型,经过高质量数据微调。

Duckdb-nsql是由MotherDuck和Numbers Station制作的7B参数文本到SQL模型。

All-minilm是在非常大的句子级数据集上的嵌入模型。

GPT-4又帮了我一个小忙

Claude 3 免费试用,顺便白嫖5美元

Google Gemini 1.5 Pro和 OpenAI Sora的一些资料

用GPT-4学习董宇辉的文旅小作文风格,回复城市名,自动撰写同款

叫板GPT-4的Gemini,我做了一个聊天网页,可图片输入,附教程

GPT-4 Claude 3 Gemini Pro对决,还是GPT-4胜一筹

GPT-4时代已过?全球网友实测Claude 3,只有震撼,性能比 GPT-4 强很多!



相关推荐

  • 2.1K Star微软开源的高质量IOT库
  • 17K一个即用即走的API客户端,鄙视登录才能用
  • Java服务优雅上下线
  • 2100亿消失后,李宁再救李宁
  • 通用图大模型HiGPT:一己之力建模任何图结构关系!来自港大数据智能实验室&百度
  • Kimi连续宕机打醒巨头!阿里百度360连夜出手长文本,大模型商业化厮杀开始了
  • Stable Diffusion老板也跑了!核心研发已集体辞职,“稳定AI”乱成一锅粥
  • Mixtral、Solar及OpenChat三大模型融合,效果能拉多高?
  • 复刻Sora的通用视频生成能力,开源多智能体框架Mora来了
  • OpenAI进军好莱坞:电影制作用Sora指日可待
  • 成为网红,马斯克Neuralink脑机接口植入者上线表演意念发帖
  • 突发!Stability AI的CEO,跑路了
  • 今日代码 PK | 处理 Spring 事务和锁冲突
  • Redis 有几种缓存读写策略?
  • 几个有点冷门的 vscode 插件,但绝对好用!
  • 3D版Sora来了?UMass、MIT等提出3D世界模型,具身智能机器人实现新里程碑
  • GPT-4「荣升」AI顶会同行评审专家?斯坦福最新研究:ICLR/NeurIPS等竟有16.9%评审是ChatGPT生成
  • 女子早癌病变被漏诊,AI医生在X光中发现!谷歌最新AI听咳嗽就能检测新冠/结核
  • 今日arXiv最热NLP大模型论文:COLING2024发布数据集揭示从莎士比亚时期开始的性别偏见
  • 升级!Sora漫步街头的女人可以跳舞啦!科目三蹦迪多种舞姿停不下来,可精准控制动作