給自己弄個 AI 系統–Ollama

目前各大 AI 平台早就席捲全世界,他們都有一個特點,若用的深,用的多,便需要付費。這對於我這個阮囊常羞澀的人來說,真是有點負擔。

所以,Ollama 的出現,便解決了我(免費仔)的問題。

簡單來說,便是將 Ollama 當成是一個容器,或是執行工具,透過他,去下載並執行目前已經開放給大家使用的 LLM 模型。

安裝很簡單,其實只要一個指令,便能下載兼安裝: curl -fsSL https://ollama.com/install.sh | sh

註:

  1. 若要更新版本,也只要執行以上相同命令即可!
  2. Ollama 除了 Linux 外,同時支援 MacOSX, MS Windows 的安裝,需要者可以在此下載需要版本:https://www.ollama.com/download

 

安裝完成後,先編輯 /etc/group 此檔案,將自己帳號(普通 user 帳號)加入 ollama 群組中。

  1. Ollama 安裝完成後,只是一個空的工具,真正發揮 AI 作用的是各大LLM模型們,那這些 LLM模型 去哪裡找。
  2. ollama 公司收集了許多 LLM 模型,網址如列:https://www.ollama.com/library

  3. 下載與安裝 LLM模型
  4. 若想要使用 llama3.2 ,只要直接執行 ollama pull llama3.2 ,便會直接下載與安裝了。

  5. 目前擁有了哪些 LLM模型
  6. 可能一時高興,下載了許多 LLM模型 ,若想知道有哪些,執行: ollama list ,便可以清楚知道。

  7. 下載安裝完成後,要如何開始
  8. 如果想要使用 llama3.2 這個模型,該如何開始呢?執行: ollama run llama3.2 ,便能開始使用了。

  9. 想要儲存此次的對話,怎麼辦?
  10. 如果想要儲存這次的對話,就在對話完成後,輸入 /save (想要的紀錄名稱,例如:20240930),他就會成為一個新的模型,下次若想繼續這個話題,便可以透過 ollama run (紀錄名稱,例如:20240930) ,載入這次結果,並繼續。

  11. 若還有使用其他問題,可以……
  12. 若有使用問題,有兩個方法可以解決:
    一是 執行: ollama –help

    二是 直接問 AI

  13. 對話細節很重要,就算是同樣問題,但結果便是會不同
  14. 想要匯入下載回來的語言模型 ,可以……
  15. 雖然 ollama 公司收集且整理了不少語言模型,但若該模型不在 ollama 公司的收集裡面,我們可以先下載回來,通常是「gguf」檔案。然後再匯入,我以中研院開發的的 taide-7b 模型做例子。

    • 先下載 taide-7b-a.2-q4_k_m.gguf 回來。
    • 新增一個文字檔,檔名可以為「 Modefile 」,檔案內容是:
    • FROM (路徑名稱)/taide-7b-a.2-q4_k_m.gguf

    • 執行匯入
    • ollama create (模型名稱,可以自訂) -f (路徑名稱)/Modefile

     

 

目前自己下載使用了哪些模型

  1. codegemma
  2. CodeGemma 是一個強大的輕量級模型的集合,可以執行各種編碼任務,例如中間填充代碼完成、代碼生成、自然語言理解、數學推理和指令追蹤。

  3. gemma2
  4. Google Gemma 2 是一款高性能、高效能的 lla 模型。

  5. llama3.2
  6. llama3.2 是由 Meta 公司提供的 lla 模型。

  7. mistral-small
  8. Mistral Small 是一種輕量級模型,專為在「翻譯」和「摘要」等任務中經濟高效地使用而設計。

  9. phi3.5
  10. phi3.5 是由「微軟」所發展訓練的lla模型,具有 38 億個參數的輕量級 AI 模型,其性能超越類似和更大尺寸的模型。

  11. qwen2.5
  12. Qwen2.5模型是在「阿里巴巴」最新的大規模資料集上進行預訓練的,具有多語言支援。

  13. taide-7b-a.2-q4_k_m
  14. taide 是由「台灣中研院 TAIDE計畫」產生的大型語言模型。以 Meta 公司釋出的 LLaMA2-7b 為基礎,導入台灣不同領域可用的文本與訓練素材,提高模型在正體中文回應的能力與特定任務的表現。

  15. reader-lm
  16. Reader-LM 是由 Jina AI 所推出的模型,主要是用來將 HTML 轉 Markdown!

 

參考資源

  1. ollama 公司
  2. ollama lla 整理區
  3. ollama 程式碼下載區
  4. 全网最全Ollama命令合集
  5. taide/TAIDE-LX-7B-Chat-4bit · Hugging Face
  6. jinaai/reader-lm-1.5b

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

*