原创 Python threading多線程
目錄 1、 2、Lock 1、 # encoding: utf-8 import threading import time from queue import Queue def thread_1_job(): prin
原创 SparkSql 中支持的sql語句、函數等
Spark SQL, Built-in Functions
原创 五、簡單爬蟲示例
一、爬取下廚房網站首頁圖片 # encoding: utf-8 """ @author: sunxianpeng @file: 58spider.py @time: 2019/10/25 19:19 """ import os imp
原创 六、Scrapy(一)| 入門案例及本地運行測試
1、案例 創建 test.py 文件 # encoding: utf-8 """ @author: sunxianpeng @file: test.py @time: 2019/10/26 18:37 """ import scrap
原创 Flink Dataset Api(五)本地執行和集羣執行
原文鏈接:https://www.cnblogs.com/niutao/p/10548478.html 本地執行 1:local環境 LocalEnvironment是Flink程序本地執行的句
原创 三、Python3 BeautifulSoup4
原文鏈接:https://www.cnblogs.com/zhangxinqi/p/9218395.html#_label2 目錄 一、基本介紹 二、BeautifulSoup的基本用法 1、節
原创 Flink Dataset Api(四)迭代操作
原文鏈接:https://blog.csdn.net/rlnLo2pNEfx9c/article/details/86522101 一、bulkIteration 迭代算法在很多數據分析領域會用
原创 Flink DataStream API(三)EventTime 與 Window
7.1 EventTime 的引入 在 Flink 的 流 式 處 理中, 絕大 部 分 的 業務都 會 使 用 eventTime,一般只在eventTime 無法使用時,纔會被迫使用 ProcessingTime 或者 Ingesti
原创 五、Python3 lxml和Xpath
原文鏈接:https://www.cnblogs.com/zhangxinqi/p/9210211.html#_label4 目錄 一、XPath常用規則 1、讀取文本解析節點 2、讀取HTML
原创 Flink DataSet API (一) Data Source
原文鏈接:https://www.cnblogs.com/niutao/p/10548451.html 一、DataStream 和 DataSet Flink用DataStream 表示無界數
原创 HTTP中的請求和響應解析
原文鏈接:https://blog.csdn.net/gtlbtnq9mr3/article/details/78796955 目錄 一、用於HTTP請求中的常用請求頭字段 1. 請求報文 二、
原创 Flink DataStream API (二) Time 與Window
一、Time 在 Flink 的流式處理中,會涉及到時間的不同概念,如下圖所示: Event Time:是事件創建的時間。它通常由事件中的時間戳描述, 例如採集的日誌數據中,每一條日誌都會記錄自己的生成時間, Flink 通過時間戳分配器
原创 一、requests基本使用
# -*- coding: utf-8 -*- import requests print("=============== GET請求==================") # url = "http://httpbin.org/"
原创 Flink DataStream API(一)
目錄 一、基本介紹 二、DataStream API 三、數據源(Source) (1)基於集合的預定義Source (2)基於Socket的預定義Source (3)基於文件的預定義Source (4)自定義Source 四、數據轉
原创 pip、conda改源、Python安裝包相關問題
一、臨時使用國內源 python,修改pip源與conda源爲國內清華鏡像源 pip 後加參數 -i pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas 二、永久