原创 kill 掉進程的腳本 stop.sh
有時會啓動多個進程，其實kill all也可以， 但個人習慣了stop.sh循環方式,一個一個的kill -9 與大家分享一下 cat stop.sh #!/bin/sh process=$1 while true docnt=
2020-06-26 10:28:18
1
原创 搜索中客戶的訪問日誌到底能用來做什麼(3)?
爲什麼搜索的第一頁比後面的好？ 首先，我們主觀上的能動性是很底的，意思是我們一般手不想往下頁找，希望結果中最好前幾條就是期望找的結果 其次，每個用戶都是這種心理，不像開始的搜索引擎，看誰找的結果數量多，時間短誰就是老大，時代變了，這就要
2020-06-26 10:28:18
原创 搜索中客戶的訪問日誌到底能用來做什麼(1)?
爲什麼搜索越做越大越多，定向推薦等越來越準? 爲什麼你在北京搜索商鋪飲食等，結果中都是和北京相關的內容？ 爲什麼搜索的第一頁永遠比後面的好？ 爲什麼搜索新鮮內容時結果會這麼快的更新爲你想看的內容？ 。。。。。爲什麼？。。。。。。。 其實
2020-06-26 10:28:18
原创 hadoop之hive在數據檢索中的用法
hive：我只用他來檢索過日誌，對這個談不上什麼精通或熟練，只是會使用而已，可以按需求進行特定的數據檢索而已，這個東西很方便，比map-reduce方便很多 你可以把他完全當成mysql來用，因爲這個也是用的SQL 語句，存儲只不過數據不
2020-06-26 10:28:18
原创 搜索中客戶的訪問日誌到底能用來做什麼(4)?
質量評測算法（方法） 各種評測算法或方法都離不開用戶的目標點擊， 比如用戶查詢一個word，點擊的都集中到了第一頁的最後一項，那至少說明你這個第一頁排序有問題，沒有把用戶想要的結果最直接的提供給用戶（大部分搜索完都只看前幾條，覺得不靠譜
2020-06-26 10:28:18
原创 搜索中客戶的訪問日誌到底能用來做什麼(6)?
想到哪寫到哪吧，如果看的有點亂請包涵 訪問日誌的擴展功能 說的再多我們仍是圍繞用戶的訪問日誌， 先舉個百度指數的例子，下圖爲百度指數查詢李天一 我們可以看到用戶關注度這個趨勢圖，那麼這個是怎麼得到的呢？ 其實用戶的搜索均會有日誌
2020-06-26 10:28:07
原创 餘弦定理----相似性計算
在向量中，餘弦定理爲 cos(x) = <a,b> / |a||b| 通常用這個來進行相似度計算但這裏計算的前提是a,b兩個向量空間維數要對齊，（通常操作都是進行歸一化，例如兩個不一致時要維數小的向大的看齊） 由於夾角越小表現爲兩個向
2020-06-10 07:07:47
原创 大數定律---頻率代替概率
爲什麼我們在搜索引擎的某些計算公式過程中常用某個詞的出現頻率來代替概率p 呢？ 這個代替準不準，有什麼依據？ 從下面的公式定理中我們可以看到，對於抽樣的樣本量一定要大，否則用頻率代替概率是不準確的 而在互聯網中，數據是海量的，所以抽樣完
2020-06-10 07:07:47
原创 網絡的幾種模型概圖
網絡模型一共有這麼幾種， loop , fork, select, poll, epoll .. 我個人理解它們間的關係與演變過程的原因由下圖所示， 以前看到的一段說的不錯，補充一下： 一次IO操作都是2次系統調用，Select是
2020-02-26 01:02:17
原创 hadoop之hive在數據檢索中的用法 (2)
上面提到的創建表的hive_table中涉及幾個問題需要先說明一下 hive表。 1. 普通表 普通表的創建，一個表，就對應一個表名對應的文件。 2. 外部表 EXTERNAL 關鍵字可以讓用戶創建一個外部表，在建表的同
2020-02-26 01:02:17
1
原创 清理腳本滑動窗口方式清理日誌文件
程序一般都會生成日誌文件，同時也有一個對應的清理腳本， 大部分清理腳本都就是crontab中定時啓動 但如果每分鐘一個日誌文件，然後需要保持一分鐘的滑動窗口進行清理應該怎麼辦呢？ 我測試的清理腳本如下示： cat clear.sh #!
2020-02-26 01:02:17
原创 搜索中客戶的訪問日誌到底能用來做什麼(5)?
相關搜索與廣告推薦 1，相關搜索 相關搜索一般指的是搜索詞相關的查詢,例如在百度中搜索”計算機“一詞，最下方會顯示 計算機,計算器，計算，房貸計算器,.......
2020-02-26 01:02:17
原创 服務端研發應具備的技能(2)
1，日誌處理 通常我們處理文件，大多數都是處理完即程序退出，但在IT行業裏，尤其是互聯網公司，日誌不是一時性的，而是源源不斷的一直生成中，所以要求你的程序也需要像linux 下的tail -f命令一樣，可以一直跟着文件讀並處理日誌，當日
2020-02-26 01:02:17
原创 搜索中客戶的訪問日誌到底能用來做什麼(2)?
(2)得到ip地址後的處理過程 如下是搜索後臺已經處理後的數據， 而對應的ip則是用戶訪問日誌中的ip 當搜索後臺得到用戶的ip後，就會到後臺查詢對應的位置,例如，用戶ip爲116.205.128.0/13 則應當得到Hunan
2020-02-26 01:02:17