其他 Paper
Quantized Side Tuning: Fast and Memory-Efficient Tuning of Quantized Large Language Models摘要本文提出一種名為 Quantized Side Tuning (QST) 的訓練框架，旨在快速且記憶體效率高地微調大型語言模型（LLMs）。該方法透過兩階段處理： 將模型權重量化為 4-bit，減少儲存所需的記憶體
LeetCode Contest
Weekly Contest 4743731. Find Missing Elements - Easy給定 nums 陣列，找出裡面最小和最大的值之間缺少的所有整數。 123456789101112131415161718class Solution {public: std::vector<int> findMissingElements(std::vector&l
Tech Reflections
晶片戰爭通用計算機差分機（Difference Engine） 由查爾斯·巴貝奇（Charles Babbage）在 19 世紀初設計的機械計算機。 因為計算 $\log$ 等指數對數運算會需要查表，且每個表可能還會有誤差，德普羅尼發現所有複雜的指數運算都可以轉成複雜的多項式，而多項式的計算可以透過「差分」來進行，這樣就不需要查表了。 差分機的設計理念是利用齒輪和連桿來實現數字的加減乘除運算，並且
Algorithm
Moore’s Voting Algorithm 摩爾投票法找出一個序列中出現次數超過一半的元素。 (majority element) 123456789candidate = Nonecount = 0for num in nums: if count == 0: candidate = num if num == candidate: count +=
Deep Learning Lab
Lab 10: Word2Vec & Noise Contrastive Estimation using Subclassing1234567891011121314151617181920import osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' # disable warning and info mes
TOEIC
Corporate Developmentinnovation The company encourages innovation to stay ahead of its competitors. encourage innovation drive innovation foster innovation strategy Our marketing strategy focuses o
Natural Language Processing
以前一定要從語言學去分析，才能處理比較好。現在都用統計的方式做，雖然人看不懂，但效果更好。 Information Retrieval (IR): 資訊檢索 Stemming: 詞幹還原 Lemmatization: 詞形還原 Stop Words: 常見但無意義的詞彙（如 “the”, “is”, “in”） Term Frequency (TF): 詞彙在文件中出現的頻率 $TF(t, d)
數學筆記
我的數學好爛，忘光光，小補一下 Entropy$$H(P) = -\sum_{i} P(i) \log P(i)$$ 對於真實分布 $P$，設計最佳的編碼表，平均需要多少 bits。 bits 代表了資訊量，$H(P)$ 越小，代表分佈本身資訊量小 Cross Entropy$$H(P, Q) = -\sum_{i} P(i) \log Q(i)$$ 對於真實分布 $P$，