AI訓練

• AI模型訓練【偏差/方差】與【欠擬合/過擬合】
  

  在我們拿到一個數(shù)據(jù)集，高高興興準備訓練一個模型時，會遇到欠擬合或過擬合的問題，業(yè)內(nèi)也喜歡用偏差和方差這兩指標去定義它們，那這些詞什么意思呢？有什么方法能避免/解決 欠擬合和過擬合呢？這其實是非常非?；A的概念，但是其實即使是業(yè)內(nèi)人士很難一下子把它們完全講明白，并列出全面的解決方法，本文為你最通俗地解答。

  全棧O-Jay

  262

  12/26 11:50

  AI模型 AI訓練
• 強攻GPU，TPU芯片一夜躥紅
  

  自ChatGPT爆火之后，AI大模型的研發(fā)層出不窮，而在這場“百模大戰(zhàn)”激戰(zhàn)正酣之際，美國芯片公司英偉達卻憑借其GPU在大模型計算中的出色發(fā)揮賺得盆滿缽滿。

  半導體產(chǎn)業(yè)縱橫

  3238

  08/19 11:10

  GPU TPU
• AI 2.0時代，服務器DDR5底層架構迎來變革
  DDR5 內(nèi)存模塊是第一個在內(nèi)存模塊上集成PMIC的主要內(nèi)存類型，未來，隨著對更高性能和電源效率的需求不斷增長，可能會定義新型內(nèi)存模塊。而且，這些模塊很有可能繼續(xù)在模塊上集成 PMIC，以進一步優(yōu)化電源管理并提高整體系統(tǒng)性能。

  張慧娟

  1522

  07/16 10:59

  與非觀察 大模型
• H100利用率飆升至75%！英偉達親自下場FlashAttention三代升級，比標準注意力快16倍
  

  大模型訓練推理神作，又更新了！主流大模型都在用的FlashAttention，剛剛升級第三代。時隔一年，F(xiàn)lashAttention-3已經(jīng)全方位升級。訓練速度提升1.5-2倍，F(xiàn)P16下計算吞吐量高達740TFLOPs/s，達理論最大吞吐量75%，更充分利用計算資源，此前只能做到35%。

  量子位

  1140

  07/14 10:25

  英偉達 大模型
• 臺達研究院闕志克：降伏AI訓練“吃電怪獸”靠誰？
  

  數(shù)據(jù)中心機房內(nèi)，一排排機柜內(nèi)線纜虬結、風扇呼嘯，燈光閃爍，徹夜不息……當前，這樣的數(shù)據(jù)中心已經(jīng)遍及世界各地，并仍然在世界頭部科技廠商的引領下不斷增長。僅在今年6月內(nèi)，微軟就已宣布將在瑞典、馬來西亞、西班牙等國家投資建設數(shù)據(jù)中心，項目投資總金額超140億美元；同時，英偉達計劃在未來5年內(nèi)投資3萬億美元建設數(shù)據(jù)中心；亞馬遜云科技則規(guī)劃在未來15年內(nèi)投入約1500億美元用于全球數(shù)據(jù)中心的建設與運營……

  中國電子報

  516

  06/25 11:40

  數(shù)據(jù)中心 AI加速器
• 黃仁勛“松弛感”演講談創(chuàng)新：偉大的智慧是退后一步
  在生成式AI的熱潮來臨之前需要思考：人工智能的背景是什么？深度學習的基礎是什么？長期的影響是什么？

  張慧娟

  5705

  06/03 13:02

  與非觀察 GPU
• AI推理，和訓練有什么不同？
  

  如果要用一句話概括AI的訓練和推理的不同之處，我覺得用“臺上一分鐘，臺下十年功”最為貼切。話說小明已經(jīng)和心目中的女神交往數(shù)年，在邀約女神出門這件事上積累了大量的經(jīng)驗數(shù)據(jù)，但卻依然捉摸不透其中的玄機。借助AI技術，能否實現(xiàn)精準預測呢？小明思考再三，總結出了可能影響女神是否接受邀請的變量：是否節(jié)假日，天氣不好，太熱/太冷了，心情不好，生病了，另有他約，家里來親戚了......等等。

  無線深海

  1812

  03/26 11:10

  AI技術 AI訓練

正在努力加載...