原创 免費使用ChatGPT寫代碼寫論文

【DocGPT】一鍵免費撰寫論文、文獻綜述、報告、生成代碼,點擊快速體驗強大的AI功能 https://chat.phitrellis.com/chat?from=717d43bb-7f13-40b7-a356-47a38476265d

原创 pandas dataframe 時間字段 diff 函數

pandas pandas 是數據處理的利器,非常方便進行表格數據處理,用過的人應該都很清楚,沒接觸的可以自行查閱pandas 官網。 需求介紹 最近在使用 pandas 的過程中碰到一個問題,需要計算數據中某時間字段下一行相對上一行的時間

原创 2018,奔波與意義

新生 又到了寫總結的時候,這幾年的總結基本都是用兩個詞概括,今年也不例外,今後恐怕將一直沿用這種模式。 2018 註定是我人生中極其不平凡的一年。這一年發生了許許多多的大事,經歷了很多,成長了很多。是奔波的一年,也是新生的一年。 回顧 20

原创 geopandas overlay 函數報錯問題解決方案

前言 這篇文章依舊是基於上一篇文章(使用Python實現子區域數據分類統計)而寫,此文章中介紹了使用 geopandas 的 overlay 函數對兩個 GeoDataFrame 對象取相交或相異的部分,即進行空間壓蓋分析。 此函數封裝的非

原创 使用Python實現子區域數據分類統計

前言 將近兩年前,我寫過一篇同名文章(見使用Python實現子區域數據分類統計)。 當時是爲了統計縣域內的植被覆蓋量,折騰了一段時間,解決了這個問題。最近,又碰到了一個類似的需求,也需要統計某個小範圍內的數據。簡單來說,這個需求是將兩個 s

原创 我要做數據分析

今天幫一個朋友做個小東西,分析 nc 數據(主要是地下水)。代碼寫着寫着自己就很開心,從7月份工作以來從未有這麼開心過。 慢慢的,我想明白了。 這些年我一直在做的事情其實是數據分析,用一個程序員的方法、站在一個僞科學家的視角做數據分析。 剛

原创 Scala 中方法擴展實踐

前言 這個名字不知道取得是否合適,簡單來說要乾的事情就是給某個類型添加一些擴展方法,此場景在各種語言中都會用到,比如 C# 語言,如果我們使用一個別人寫好的類庫,而又想給某個類庫添加一些自己封裝的方法,最好的方式就是使用擴展方法,具體實現方

原创 geotrellis使用(四十二)將 Shp 文件轉爲 GeoJson

前言 一個多月沒有寫博客了,今天嘗試着動筆寫點。 原因很多,最重要的原因是我轉行了。是的,我離開了開發崗位,走向了開發的天敵-產品經理。雖然名義上是產品經理,但是乾的事情也很雜,除了不寫代碼,其他的都幹,經常還要加個小班,所以就沒那麼多時間

原创 geotrellis使用(四十一)流水線技術

前言 之前 GeoTrellis 爲方便用戶將數據(GeoTiff 等遙感影像)導入到 backend (包含 Accumulo、File、Hadoop 等格式)中,編寫了一個 ETL 類,該類的輸入爲用戶配置好的 json 文件,其中包含

原创 花開半年,順風盪漾

出去幹什麼不行,哪怕去送快遞,一個月也能掙個幾千。不管幹啥肯定是餓不死。 幾年前,我對自己如是說。幾年後,我出來了,自由了,一晃就是半年。 元旦假期,我決定回母校看看,畢業之後從來沒有回去過,不知道爲什麼,就是想在這個時間去轉轉。買了張

原创 我如何將億次的計算降爲實時

前言 前期我們做了一個小程序,實現集體照片的自動分發。簡單來說就是用戶上傳一張集體照,凡是出現在集體照中的人都能自動關聯到此張照片,有點類似 QQ 和 FB 之前的標記用戶,但是整個過程是自動的,無需人爲分發,問題就出現在自動上。 一、第一

原创 使用 Cesium 動態加載 GeoJSON 數據

前言 需求是這樣的,我需要在地圖中顯示 08 年到現在的地震情況,地震都是發生在具體的時間點的,那麼問題就來了,如何實現地震情況按照時間動態渲染而不是一次全部加載出來。 一、 方案分析 這裏面牽扯到兩個問題:第一個是如何加載 GeoJSON

原创 Cesium 雲服務

前言 所有行業都知道雲是未來或者現在的趨勢,但是真正的完完全全提供地理信息雲服務的恐怕只有 Google 一家,然而今天我居然發現 Cesium 提供了雲服務,你沒有看錯,就是曾經的開源 3D 渲染框架。本文簡單介紹之。 一、 Cesium

原创 geotrellis使用(三十九)COG 寫入更新

前言 前面介紹過了如何在 ETL 的時候更新 Layer,使得能夠在大數據量的時候完成 ETL 操作,同時前兩篇文章也介紹了 COG 以及如何在 Geotrellis 中實現 COG 的讀取。本文介紹如何在進行 COG 方式 ETL 的時候

原创 geotrellis使用(四十)優雅的處理請求超過最大層級數據

前言 要說清楚這個題目對我來說可能都不是一件簡單的事情,我簡單嘗試。 研究 GIS 的人應該都清楚在 GIS 中最常用的技術是瓦片技術,無論是傳統的柵格瓦片還是比較新穎的矢量瓦片,一旦將數據切好瓦片就會造成其層級固定,假如說 0 - 11