Shih-Hao Hung is with Byron Hsu and Richie Tsai.
Liger Kernel 深度解說影片上線分享
Liger Kernel 開源軟體作者許秉倫(Byron Hsu),2024/12/23下午在台大資工系演講,我們獲得講者和主辦單位的同意,已將演講的影片上傳至YouTube公開分享,歡迎將以下影片連結分享給對人工智慧、機器學習、開源軟體技術感興趣的朋友:
附上之前我對這場演講的簡介:
大型語言模型很耗費算力,對其技術發展和應用上造成相當大的負擔。從系統層級進行效能優化工程,降低存放語言模型參數所需的記憶體空間、提高存取語言模型參數的效率,才能充分發揮GPU的算力,大幅節省系統建置的成本以及運作的負擔。
我們請到目前在LinkedIn工作的許秉倫(Byron Hsu),12/23下午在台大資工系演講他前一陣子發佈的Liger Kernel開源專案,深度解說這個專案的技術如何幫使用者省下大把鈔票,歡迎對技術有興趣的朋友來聽。請注意,這場並非常見的科普演講,聽者須對大型語言模型和計算機系統具備一定的基礎才好聽懂。
Liger Kernel已經有很多人在使用了,不必我在這裡鼓吹。我想在此特別推的是系統層級、效能優化類的開源系統軟體開發,這是我向來認為國內產學界應該多注重的事業。當年秉倫就讀台大電機系的時候,曾經跟我做過專題,對這類開源軟體特別感興趣。後來他留學取得碩士學位的UC Berkeley,更是開源軟體專案的先驅和搖籃。以台灣在系統產業上的根基,如果有心耕耘開源系統軟體的話,可以多跟國外接軌,做出有影響力的專案。
這次秉倫來演講,他本人對台灣的產學界也有一些想法,包含:
1, 促進台灣學界對於LLM System的重視與研究
2. 促進台灣業界對LLM system的投入
3. 增加對不同hardware vendor的support (e.g. made in taiwan的accelerators)
4. 增加community中的台灣勢力
讓本土技術更卓越,是科技人愛台灣的最佳方式之一,歡迎參與、按讚、分享。
All reactions:
5 comments
106 shares
Like
Comment
Newest
Richie Tsai
Awesome and keep moving forward!
5' xlink:href='%23b'/%3e%3cuse fill='black' filter='url(%23c)' xlink:href='%23b'/%3e%3cpath fill='white' d='M12.162 7.338c.176.123.338.245.338.674 0 .43-.229.604-.474.725a.73.73 0 01.089.546c-.077.344-.392.611-.672.69.121.194.159.385.015.62-.185.295-.346.407-1.058.407H7.5c-.988 0-1.5-.546-1.5-1V7.665c0-1.23 1.467-2.275 1.467-3.13L7.361 3.47c-.005-.065.008-.224.058-.27.08-.079.301-.2.635-.2.218 0 .363.041.534.123.581.277.732.978.732 1.542 0 .271-.414 1.083-.47 1.364 0 0 .867-.192 1.879-.199 1.061-.006 1.749.19 1.749.842 0 .261-.219.523-.316.666zM3.6 7h.8a.6.6 0 01.6.6v3.8a.6.6 0 01-.6.6h-.8a.6.6 0 01-.6-.6V7.6a.6.6 0 01.6-.6z'/%3e%3c/g%3e%3c/svg%3e)