原创 spark基礎知識之搭建環境
spark基礎知識之搭建環境<一> 本文詳細講解如何搭建hadoop、zookeeper、hbase和spark的集羣環境，這裏我是在本地虛擬機上搭建的集羣，但是和實際環境的配置
2020-06-15 07:49:04
原创 scrapy 框架抓取藝龍酒店（熱門城市酒店信息）
一、scrapy框架 Spiders文件- Yi_long.py import requests import re import time import json class Yi_long(): def __init_
2020-06-15 07:49:04
原创 Spark基礎知識之概念
Spark基礎知識<二> Spark的概念：Spark是分佈式的、主要基於內存的、特別適合於迭代計算的大數據計算框架。 接下來從3個方面去理解Spark的概念： 分佈式：所謂分佈
2020-06-15 07:49:04
原创 spark基礎知識之 spark RDD
spark基礎知識之 spark RDD <四> 本期內容： 1.RDD：基於工作集的應用抽象 2.RDD內幕解密 3.RDD思考 精通了RDD，學習Spark的時間
2020-06-15 07:49:04
原创 spark基礎知識之spark streaming
spark基礎知識之spark streaming<三> spark streaming: 1.設置合理的batchDuration 每隔一個batchDuration提
2020-06-15 07:49:04
原创 破解天翼雲Base64 js加密（二）
#!/usr/bin/env python # -*- coding:utf-8 -*- import base64 import js2py import threading lock = threading.Lock() de
2019-08-03 09:01:40
原创 破解天翼雲Base64 js加密
window = this; var r = 1, n = 0, i = window.atob || r.atob, o = window.btoa || r.btoa; var s = function s(t, e, n, r,
2019-08-03 09:01:40
6
原创 實戰各大平臺商品比價--Python 爬取過客網商品歷史價格(30天)
#! usr/bin/env python # -*- coding:utf-8 -*- __author__="JUNHAN" 環境： Python3.6.5 1.導入第三方庫 import functools import execj
2019-01-18 15:36:36
原创 Python3.6+selenium+pytesser3 實現爬蟲：含驗證碼和彈框的頁面信息爬取
一、爬蟲環境搭建 爬蟲目前的主流編寫語言爲python，確實非常好用，“人生苦短，我用python” 的宣傳語也並非吹噓。下面列出爬蟲編寫的環境需求和搭建方式：python3.6： python分爲2.x和3.x兩大版本，目前大部分的庫已
2019-01-10 14:31:24
2
原创 Python3 list 排序字符串排序
Python3 對文件的每行字符按長度排序 一、 列表的sort排序函數 函數原型： list.sort(key=None,reverse=False) 函數功能： 對原列表進行排序，完成排序後，
2018-12-18 15:48:53
原创 spark基礎知識之搭建環境<一>
spark基礎知識之搭建環境<一> 本文詳細講解如何搭建hadoop、zookeeper、hbase和spark的集羣環境，這裏我是在本地虛擬機上搭建的集羣，但是和實際環境的配置
2018-08-30 20:47:21
2
原创 如何在Linux 已安裝 Python2.7 共存 Python3.6.4
如果本機安裝了python2，儘量不要管他，使用python3運行python腳本就好，因爲可能有程序依賴目前的python2環境， 比如yum！！！！！ 不要動現有的python2環境！ 一. 安裝準備 1. 安裝依賴環境
2018-08-30 20:47:13
6
原创 Linux基本概念
一、Linux基本概念 1.本門課程的定位 a.企業環境中使用的服務器操作系統基本就是Linux系統 b.大數據集羣也是搭建在Linxu系統之上 2.Linux內核 Linux是一個一體化內核（monolithic ker
2018-08-30 20:47:13
原创 如何解決OSError: [Errno 98] Address already in use 並殺死python3 進程
[root@localhost appp_dai]# python3 run_app.pyTraceback (most recent call last): File "run_app.py", line 33, in <module
2018-08-30 20:47:13
原创 Windows環境安裝Scrapy框架步驟 -詳細總結自己安裝經驗
首先,第一步安裝:Scrapy最簡單的方法安裝 1.安裝Scrapy pip install scrapy 如果命令安裝，提示 Failed building wheel for Twisted Microsoft Visual C++
2018-08-30 20:47:13
2