原创 Python threading多線程

目錄   1、 2、Lock 1、 # encoding: utf-8 import threading import time from queue import Queue def thread_1_job(): prin

原创 SparkSql 中支持的sql語句、函數等

Spark SQL, Built-in Functions

原创 五、簡單爬蟲示例

一、爬取下廚房網站首頁圖片 # encoding: utf-8 """ @author: sunxianpeng @file: 58spider.py @time: 2019/10/25 19:19 """ import os imp

原创 六、Scrapy(一)| 入門案例及本地運行測試

1、案例 創建 test.py 文件 # encoding: utf-8 """ @author: sunxianpeng @file: test.py @time: 2019/10/26 18:37 """ import scrap

原创 Flink Dataset Api(五)本地執行和集羣執行

原文鏈接:https://www.cnblogs.com/niutao/p/10548478.html 本地執行 1:local環境 LocalEnvironment是Flink程序本地執行的句

原创 三、Python3 BeautifulSoup4

原文鏈接:https://www.cnblogs.com/zhangxinqi/p/9218395.html#_label2 目錄 一、基本介紹 二、BeautifulSoup的基本用法 1、節

原创 Flink Dataset Api(四)迭代操作

原文鏈接:https://blog.csdn.net/rlnLo2pNEfx9c/article/details/86522101 一、bulkIteration 迭代算法在很多數據分析領域會用

原创 Flink DataStream API(三)EventTime 與 Window

7.1 EventTime 的引入 在 Flink 的 流 式 處 理中, 絕大 部 分 的 業務都 會 使 用 eventTime,一般只在eventTime 無法使用時,纔會被迫使用 ProcessingTime 或者 Ingesti

原创 五、Python3 lxml和Xpath

原文鏈接:https://www.cnblogs.com/zhangxinqi/p/9210211.html#_label4 目錄 一、XPath常用規則 1、讀取文本解析節點 2、讀取HTML

原创 Flink DataSet API (一) Data Source

原文鏈接:https://www.cnblogs.com/niutao/p/10548451.html 一、DataStream 和 DataSet Flink用DataStream 表示無界數

原创 HTTP中的請求和響應解析

原文鏈接:https://blog.csdn.net/gtlbtnq9mr3/article/details/78796955 目錄 一、用於HTTP請求中的常用請求頭字段 1. 請求報文 二、

原创 Flink DataStream API (二) Time 與Window

一、Time 在 Flink 的流式處理中,會涉及到時間的不同概念,如下圖所示: Event Time:是事件創建的時間。它通常由事件中的時間戳描述, 例如採集的日誌數據中,每一條日誌都會記錄自己的生成時間, Flink 通過時間戳分配器

原创 一、requests基本使用

# -*- coding: utf-8 -*- import requests print("=============== GET請求==================") # url = "http://httpbin.org/"

原创 Flink DataStream API(一)

目錄   一、基本介紹 二、DataStream API 三、數據源(Source) (1)基於集合的預定義Source (2)基於Socket的預定義Source (3)基於文件的預定義Source (4)自定義Source 四、數據轉

原创 pip、conda改源、Python安裝包相關問題

一、臨時使用國內源 python,修改pip源與conda源爲國內清華鏡像源 pip 後加參數 -i pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas 二、永久