原创 skip gram和cbow的優缺點
在cbow方法中，是用周圍詞預測中心詞，從而利用中心詞的預測結果情況，使用GradientDesent方法，不斷的去調整週圍詞的向量。當訓練完成之後，每個詞都會作爲中心詞，把周圍詞的詞向量進行了調整，這樣也就獲得了整個文本里面所有詞的詞向
2020-06-26 05:08:30
38
原创 List,Set,Map,Arraylist 與 LinkedList ,HashMap 和 Hashtable ,HashMap 和 HashSet比較區別
說說List,Set,Map三者的區別？ List(對付順序的好幫手)： List接口存儲一組不唯一（可以有多個元素引用相同的對象），有序的對象 Set(注重獨一無二的性質): 不允許重複的集合。不會有多個元素引用相同的對象。 Map
2020-06-26 05:08:29
3
原创 java中幾道面試常問的多線程基礎題
1. 簡述線程，程序、進程的基本概念。以及他們之間關係是什麼？ 線程與進程相似，但線程是一個比進程更小的執行單位。一個進程在其執行的過程中可以產生多個線程。與進程不同的是同類的多個線程共享同一塊內存空間和一組系統資源，所以系統在產生一個線
2020-06-26 05:08:28
原创 劍指offer 二叉樹的子結構
題目描述： 輸入兩棵二叉樹A，B，判斷B是不是A的子結構。（ps：我們約定空樹不是任意一個樹的子結構） 思路： 本題可以分爲兩步，第一步：找到A中與B的根結點值相等的結點R，第二步：判斷以R爲根結點的子樹是否包含B一樣的結構。本題
2020-06-26 05:08:28
原创 劍指offer 鏈表中倒數第k個結點 python
題目描述 輸入一個鏈表，輸出該鏈表中倒數第k個結點。 思路1： 1. 看到是單鏈表肯定不能反方向循環，倒數第k個節點，比如鏈表長度爲6，倒數第三個也就是相當於正數第四個，符合6-3+1=4。 2. 所以就想到了正向遍歷鏈表兩次，但兩次
2020-06-26 05:08:28
原创 劍指offer 二叉樹的鏡像（二叉樹的所有子節點互換）
題目描述 操作給定的二叉樹，將其變換爲源二叉樹的鏡像。 輸入描述: 二叉樹的鏡像定義：源二叉樹 8 / \ 6 10 / \ / \ 5 7 9 11
2020-06-26 05:08:28
原创 面試bert相關的問題
Bert的雙向體現在什麼地方？ mask+attention，mask的word結合全部其他encoder word的信息 Bert的是怎樣實現mask構造的？ MLM：將完整句子中的部分字mask，預測該mask詞 NSP：爲每個訓
2020-03-10 01:17:29
原创 Word2Vector之skip-gram原理
1.詞嵌入（word2vec） 自然語言是一套用來表達含義的複雜系統。在這套系統中，詞是表義的基本單元。顧名思義，詞向量是用來表示詞的向量，也可被認爲是詞的特徵向量或表徵。把詞映射爲實數域向量的技術也叫詞嵌入（word em
2020-02-21 02:29:23
10
原创 常見的損失函數（代價函數）
幾種常見的損失函數 1. 損失函數、代價函數與目標函數 損失函數（Loss Function）：是定義在單個樣本上的，是指一個樣本的誤差。 代價函數（Cost Function）：是定義在整個訓練集上的，是所有樣本誤差的平均，
2019-08-28 16:44:12
原创 學習率(Learning rate)的理解及調整依據
1. 什麼是學習率(Learning rate)？ 學習率(Learning rate)作爲監督學習以及深度學習中重要的超參，其決定着目標函數能否收斂到局部最小值以及何時收斂到最小值。合適的學習率能夠使目標函數在合適的時間內收斂到局部
2019-08-03 16:17:52
34
原创 神經網絡中Batch和Epoch之間的區別是什麼？
神經網絡中Batch和Epoch之間的區別是什麼？ 隨機梯度下降法是一種具有大量超參數的學習算法。通常會使初學者感到困惑的兩個超參數: Batch大小和Epoch數量,它們都是整數值，看起來做的事情是一樣的。在這篇文章中，您將發現隨機梯度
2019-08-03 16:17:52
3
原创 torchtext使用教程
將一個純文本數據(比如一個 txt 文本)， 變成一個模型可接受的數據（比如一個 embedding 序列），就用到了torchtext。 API一覽 torchtext.data torchtext.data.Examp
2019-07-13 15:59:50
14
原创 硬幣的不等概率轉等概率問題
有一枚硬幣，它的正反面概率是不一樣的，假設概率爲p，如何讓其正反面概率變爲一樣的？ 思路： 硬幣只能出現正反兩面，0代表正面，1代表反面，所以設0的概率爲票，1的概率爲1-p import random def core(p)
2019-07-09 16:49:48
1
原创 絕對最簡單實用的kenlm語言模型的安裝及使用
統計語言模型工具有比較多的選擇，目前使用比較好的有srilm及kenlm，其中kenlm比srilm晚出來，訓練速度也更快，號稱單機版訓練超級快，經過測試確實很快，支持大規模的語料訓練，文件的輸入格式一行行以空格隔開的文本。 kenl
2019-05-11 01:44:51
98