在你的笔记本电脑上运行的[一些]会产生疯狂的幻觉——我认为这实际上是运行它们的一个很好的理由,因为在你的电脑上运行弱型号是了解这些东西如何工作及其局限性的一种更快的方式。同样值得注意的是,开源模型可能会不断改进,一些行业观察人士预计,它们与商业领袖之间的差距会缩小。
如果在Windows计算机上,请使用最喜欢的安装Python库的方式,例如brew install llm
pip install llm
llm install llm-gpt4all
llm -m the-model-name "Your query"
llm -m ggml-model-gpt4all-falcon-q4_0 "Tell me a joke about computer programming"
这是LLM用户体验如此优雅的一点:如果本地系统上不存在GPT4All模型,LLM工具会在运行查询之前自动为下载它。下载模型时,将在终端中看到进度条。llm aliases set falcon ggml-model-gpt4all-falcon-q4_0