原创 BigData————YARN
hadoop 啓動 This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd starting yarn daemons yarn是用來幹什麼的
2020-06-14 18:19:32
原创 BigData————HDFS的shell命令
所有FS shell命令使用URL路徑作爲參數。 HDFS的shell命令： 1.啓動 start-all 第一次啓動後會自動在namenode中創建fsimage和edits文件 2.幫助手冊 hdfs dfs -help 3.
2020-06-14 18:19:32
原创 JavaWeb——MVC案例
三層優化： MVC與三層結構的比較： 1.三層架構 與MVC設計模式的目標一致:都是爲了解耦合、提高代碼複用: 區別，二者對項目理解的角度不同。 2.三層組成: 表示層(USL, User Show Lay
2020-06-14 18:19:32
原创 前端————web前端開發概述+HTML基礎
一、web前端開發概述 1. web是internet上最受歡迎的一種多媒體信息服務系統，整個系統包括web服務器、瀏覽器、通信協議。 2. UI（user interface 用戶界面） 3. URL（uniform resour
2020-06-14 18:19:32
原创 前端————HTML頁面元素和屬性
1.全局屬性 全局屬性：對於任何一個元素都是可以使用的屬性 1.hidden屬性：是布爾屬性，規定元素仍未或不在相關，瀏覽器不應顯示已規定hidden屬性的元素，也可用於防止用戶查看，直到匹配某些條件（比如選擇了某個複選框）。JavaSc
2020-06-14 18:19:32
原创 JavaWeb————JSP九大內置對象 session
session (服務端) Cookie (客戶端，不是內置對象) Cookie是由 服務端生成的.再發送給客戶端保存。 相當於本地緩存的作用: 客戶端(hello. mp4, zs/abc)->服務端(hello. mp4; zs/ab
2020-06-14 18:19:32
原创 BigData————MapReduce組件InputFormat
思考:在運行MapReduce程序時，輸入的文件格式包括:基於行的日誌文件、二進制格式文件、數據庫表等。那麼,針對不同的數據類型，MapReduce是如何讀取這些數據的呢? input format：輸入格式化 FileInputForm
2020-06-14 18:19:32
原创 BigData————MapReduce
MapReduce 一個分佈式運算程序的編程框架，是用戶開發“基於Hadoop的數據分析應用”的核心框架。 MapReduce核心功能 將用戶編寫的業務邏輯代碼和自帶默認組件整合一個完整的分佈式運算程序（整合代碼，變成一個適合跑在分佈式上
2020-06-14 18:19:22
原创 SQL————查詢選修了全部課程的學生姓名
R/S 就是找出R中把 S裏所有屬性值 都包含的那個屬性值 查詢選修了全部課程的學生姓名： 第一種： 理解爲：查詢一個人的姓名，這個人不存在課程沒選擇。 思路： 1.拿出Student表的第一行數據 2.拿出
2020-06-14 18:19:21
原创 Java SE————反射機制
反射： 一. 什麼是反射？ 可以在運行時候，動態的查看到類（已經裝載到JVM中的Java對象）的所有屬性和方法，同時可以訪問類的任意方法和屬性，這種 方式就稱爲反射。 先來一個person.class p
2020-06-14 18:19:21
原创 JavaWeb——JDBC八股文、JSBC使用存儲過程、存儲函數、處理CLOB/BLOB類型
1.jdbc總結（模板、八股文）： try{a.導入驅動包、加載具體驅動類Class.forName("具體驅動類"); b.與數據庫建立連接connection = DriverManager.getConnection(...); c
2020-06-14 18:19:21
原创 BigData————使用Java api存儲數據
1.創建項目，導入hadoop相關的包file—>project structure 2.文件系統開啓關閉測試 package hdfs_demo; import org.apache.hadoop.conf.Configuratio
2020-06-14 18:19:21
原创 BigData————RDD編程
一、定義RDD： 1.RDD 是一個分佈式的，彈性的數據集，是spark應用中最基本的統一的數據格式單位 RDD分區就是一段連續的數據片 不同的數據源，要統一格式，而這個統一的格式就是RDD。 spark的計算就是
2020-06-14 18:19:21
原创 Python————爬蟲
安裝scrapy 創建spider項目 使用pycharm打開‘項目： 修改python解釋器:anaconda的虛擬環境myspark 兩個工具： 1. scrapy view https://bj.lianjia.com/er
2020-06-14 18:19:21