Linux中國

號稱可以成為 ChatGPT 平替的開源模型 「Dolly」

Databricks 這家軟體公司,在各個領域都有所建樹,尤其是在數據倉庫和基於人工智慧的解決方案方面。

最近,隨著 ChatGPT 橫空出世,Meta、谷歌甚至 Mozilla 都開始效仿 ChatGPT

而現在,Databricks 開源了其 大型語言模型 large language model (LLM)「Dolly」,也正在以自己的方式進行嘗試。

我們一起來看看它。

發生了什麼? 在最近的公告中,Databricks 介紹了他們號稱 「廉價構建」 的 LLM,使用 EleutherAI 的已經開源的參數 模型 提供功能。

他們在該模型基礎上稍作調整,賦予了 Dolly 指令諸如頭腦風暴和文本生成的能力。

當你拿它與 GPT-3 中的 1750 億個參數 比較時,Dolly 的 60 億個參數 就可能顯得微不足道。

但是,當 Databricks 的人看到即使數據量與 GPT-3 相差這麼多,Dolly 也能 展示很多與 ChatGPT 相同的能力 時,他們感到非常震驚。

下面是他們展示的其中一個例子:

a screenshot of how dolly performs in an open question and answer scenario

原始模型使用了 Alpaca 的數據,該模型由斯坦福大學以 Meta 的 LLaMA LLM 為基礎建立。

但是,正如你所看到的,原始模型產生了一個非常雜亂無章的結果,而 Dolly,通過不同的模型和調整,能夠產生一個更為可用的答案。

? 有趣的事實:「 多莉 Dolly 」 名字取自世界上第一隻克隆羊。

為什麼是現在? 根據 Databricks 的說法,他們認為 許多公司更願意建立自己的模型,而不是將數據發送給某個緊緊掌握模型只對外提供 API 的集中式供應商。

許多公司可能不願意將他們最敏感的數據交給第三方,然後在模型質量、成本和所需行為方面進行各種權衡。

你想看看嗎?

當然,但有一個問題。

你必須 使用他們的平台來使用 Dolly,他們已經開源了一個 Databricks 筆記本,可以幫助你在 Databricks 上構建它。

此外,如果你想獲得訓練好的權重,你必須聯繫他們。不過我不確定他們是否會免費提供使用權。

總而言之,這種開源其模型的舉動應該對其他公司有好處,可以保護他們的數據、節省運營成本,其他公司也能使用它創建自己的模型。

你可以查看其 公告博客,以了解更多技術細節和其他計劃。

via: https://news.itsfoss.com/open-source-model-dolly/

作者:Sourav Rudra 選題:lkxed 譯者:lxbwolf 校對:wxy

本文由 LCTT 原創編譯,Linux中國 榮譽推出


本文轉載來自 Linux 中國: https://github.com/Linux-CN/archive

對這篇文章感覺如何?

太棒了
0
不錯
0
愛死了
0
不太好
0
感覺很糟
0
雨落清風。心向陽

    You may also like

    Leave a reply

    您的電子郵箱地址不會被公開。 必填項已用 * 標註

    此站點使用Akismet來減少垃圾評論。了解我們如何處理您的評論數據

    More in:Linux中國