號稱可以成為 ChatGPT 平替的開源模型 「Dolly」
Databricks 這家軟體公司,在各個領域都有所建樹,尤其是在數據倉庫和基於人工智慧的解決方案方面。
最近,隨著 ChatGPT 橫空出世,Meta、谷歌甚至 Mozilla 都開始效仿 ChatGPT。
而現在,Databricks 開源了其 大型語言模型 (LLM)「Dolly」,也正在以自己的方式進行嘗試。
我們一起來看看它。
發生了什麼? 在最近的公告中,Databricks 介紹了他們號稱 「廉價構建」 的 LLM,使用 EleutherAI 的已經開源的參數 模型 提供功能。
他們在該模型基礎上稍作調整,賦予了 Dolly 指令諸如頭腦風暴和文本生成的能力。
當你拿它與 GPT-3 中的 1750 億個參數 比較時,Dolly 的 60 億個參數 就可能顯得微不足道。
但是,當 Databricks 的人看到即使數據量與 GPT-3 相差這麼多,Dolly 也能 展示很多與 ChatGPT 相同的能力 時,他們感到非常震驚。
下面是他們展示的其中一個例子:
原始模型使用了 Alpaca 的數據,該模型由斯坦福大學以 Meta 的 LLaMA LLM 為基礎建立。
但是,正如你所看到的,原始模型產生了一個非常雜亂無章的結果,而 Dolly,通過不同的模型和調整,能夠產生一個更為可用的答案。
? 有趣的事實:「 多莉 」 名字取自世界上第一隻克隆羊。
為什麼是現在? 根據 Databricks 的說法,他們認為 許多公司更願意建立自己的模型,而不是將數據發送給某個緊緊掌握模型只對外提供 API 的集中式供應商。
許多公司可能不願意將他們最敏感的數據交給第三方,然後在模型質量、成本和所需行為方面進行各種權衡。
你想看看嗎?
當然,但有一個問題。
你必須 使用他們的平台來使用 Dolly,他們已經開源了一個 Databricks 筆記本,可以幫助你在 Databricks 上構建它。
此外,如果你想獲得訓練好的權重,你必須聯繫他們。不過我不確定他們是否會免費提供使用權。
總而言之,這種開源其模型的舉動應該對其他公司有好處,可以保護他們的數據、節省運營成本,其他公司也能使用它創建自己的模型。
你可以查看其 公告博客,以了解更多技術細節和其他計劃。
via: https://news.itsfoss.com/open-source-model-dolly/
作者:Sourav Rudra 選題:lkxed 譯者:lxbwolf 校對:wxy
本文轉載來自 Linux 中國: https://github.com/Linux-CN/archive