我的數學好爛，忘光光，小補一下 Entropy$$H(P) = -\sum_{i} P(i) \log P(i)$$ 對於真實分布 $P$，設計最佳的編碼表，平均需要多少 bits。 bits 代表了資訊量，$H(P)$ 越小，代表分佈本身資訊量小 Cross Entropy$$H(P, Q) = -\sum_{i} P(i) \log Q(i)$$ 對於真實分布 $P$，

詞向量像是如果要表示 貓，會用類似 [0.0074, 0.0023, -0.0012…] 的數字來表示貓的特徵，這些數字就是詞向量，共有 300 個數字。用這樣的向量可以表示詞空間的關係，像是 狗、寵物 等也用一樣的方法表示，這些詞在詞 World Space 中就會與 貓 比較接近。 這種高維度的表示法還有一個優勢是，可以用向量運算推理單字，像是 biggest - big = sm

Quantized Side Tuning: Fast and Memory-Efficient Tuning of Quantized Large Language Models摘要本文提出一種名為 Quantized Side Tuning (QST) 的訓練框架，旨在快速且記憶體效率高地微調大型語言模型（LLMs）。該方法透過兩階段處理： 將模型權重量化為 4-bit，減少儲存所需的記憶體

漢字 翻譯 おちゃ お茶 Tea ください 下さい Please すし 寿司 Sushi みず 水 Water ごはん ご飯 Rice と And いしゃ 医者 Doctor せんせい 先生 Teacher やさしい 優しい Kind べんごし 弁護士 Lawyer かっこいい 格好いい Cool ひと 人 Person がくせい 学

Chisel 是基於 Scala 語言設計的 HDL，用設計數位電路。 Scala 語法變數、常數 var: 變數 val: 常數 If else if else: 會有 回傳值 (最後一行)1val x = if (a > b) a else b 函數 def: 函數名(參數名: 參數型別): 回傳型別 123456def max(a: Int, b: Int): Int = if (

參考清大麥偉基老師課程講義 Dummy Fill Insertion

參考清大麥偉基老師課程講義 Redundant Via Insertion一個 IC 有幾十億個 via，任何一個掛掉，整個 IC 也會掛掉 Redundant Via可以讓上下兩層 metal 凸出來一個，多塞一個 via 進去，這樣就算其中一個 via 掛掉，還有另一個 via 可以通電，增加 Reliabllity。多出來的 metal 也要考慮 Design Rule。 Post-R

Lecture Moore’s Law is slowing down製成技術的瓶頸 Dennard Scaling is dead two decades ago雖然 Transistor 數量增加，但是 Power Consumption 也增加，晶片的運作沒辦法滿載，因此 Power 是現今重要的議題。 Specialized & Customization 現今逐漸趨向 Speci

參考清大麥偉基老師課程講義 Lithography Lithography: 光刻框出電路圖案，然後進行蝕刻 Diffraction: 繞射會造成 Lithography 不準確，可以從目標圖案反推出 Mask 的設計，稱為 Computational Lithography 193i 的 i 代表 Immersion Lithography用液體取代空氣，縮短光的波長，就好像換了一個

惡補 ML https://www.youtube.com/watch?v=Ye018rCVvOo&list=PLJV_el3uVTsMhtt7_Y6sgTHGHp1Vb2P2J 機器學習基本概念機器學習的核心是讓機器根據資料學習一個模型（function），讓新的輸入做出相對的預測或決策。 分類 Regression ex: 預測東西 Classification ex: Alp