Flink 水位線機制WaterMark實踐 處理亂序消息

原創 二十六画生的博客 2020-06-22 11:26

1 水位線（WaterMark）是一個時間戳，等於當前到達的消息最大時間戳減去配置的延遲時間，水位線是單調遞增的，如果有晚到達的早消息也不會更新水位線，因爲消息最大時間戳沒變

2 新消息到達時，才計算新的水位線，如果水位線大於等於窗口的endTime（左閉右開）則觸發窗口計算，反之繼續接收後續消息；消息的EventTime大於等於窗口beginTime則保留，反之被丟棄

3 消息的EventTime小於水位線時不一定被丟棄；消息的EventTime小於窗口beginTime時纔會被丟棄

4 與window一起使用，可以對亂序到達的消息排序後再處理

5 引入水位線機制的目的是延遲窗口觸發計算的時間，使晚到達的早的消息儘可能也能被保留，用於窗口計算，提高數據準確性

版本:flink1.9.2,java1.8

1 滾動窗口，延遲5s，window內不排序 ：

package WaterMark;

import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.java.tuple.Tuple;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.AssignerWithPeriodicWatermarks;
import org.apache.flink.streaming.api.functions.source.SourceFunction;
import org.apache.flink.streaming.api.functions.windowing.WindowFunction;
import org.apache.flink.streaming.api.watermark.Watermark;
import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.streaming.api.windowing.windows.TimeWindow;
import org.apache.flink.util.Collector;

import java.util.Date;

/**
 * @Author you guess
 * @Date 2020/6/20 15:55
 * @Version 1.0
 * @Desc
 */
public class WaterMarkTest {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment();
        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

        DataStream<String> dataStream = env.addSource(new SourceFunction<String>() {
            @Override
            public void run(SourceContext<String> ctx) throws Exception {
                ctx.collect("hello,1553503185000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503186000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503187000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503188000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503189000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503190000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503191000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503186000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503187000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503185000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503184000"); //丟棄
                Thread.sleep(1000);
                ctx.collect("hello,1553503183000"); //丟棄
                Thread.sleep(1000);
                ctx.collect("hello,1553503190000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503192000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503193000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503194000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503195000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503196000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503197000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503198000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503199000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503200000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503201000");
                Thread.sleep(1000);
                ctx.collect("hello,1553503202000");
            }

            @Override
            public void cancel() {

            }
        }, "source1").assignTimestampsAndWatermarks(new AssignerWithPeriodicWatermarks<String>() { //週期性水位線
            long currentTimeStamp = 0l;
            long maxDelayAllowed = 5000l; //延遲5s
            long currentWaterMark;

            /**
             * 週期循環執行，默認是每200ms執行一次該方法
             * @return
             */
            @Override
            public Watermark getCurrentWatermark() {
                currentWaterMark = currentTimeStamp - maxDelayAllowed;
                System.out.println("當前水位線:" + currentWaterMark);
                return new Watermark(currentWaterMark);
            }

            /**
             * 來消息才執行。來消息時先執行該方法extractTimestamp，然後再執行getCurrentWatermark
             * @param s
             * @param l
             * @return
             */
            @Override
            public long extractTimestamp(String s, long l) {
                String[] arr = s.split(",");
                long eventTime = Long.parseLong(arr[1]);
                currentTimeStamp = Math.max(eventTime, currentTimeStamp);
                System.out.println("Key:" + arr[0] + ",EventTime:" + eventTime + ",currentTimeStamp:" + currentTimeStamp);
                return eventTime;
            }
        });

        dataStream.map(new MapFunction<String, Tuple2<String, String>>() {
            @Override
            public Tuple2<String, String> map(String s) throws Exception {
                return new Tuple2<String, String>(s.split(",")[0], s.split(",")[1]);
            }
        }).keyBy(0)
                //.timeWindow(Time.seconds(5)).apply() // 作用同下，一樣能獲取到窗口開始和結束時間
                .window(TumblingEventTimeWindows.of(Time.seconds(5))).apply(new WindowFunction<Tuple2<String, String>, String, Tuple, TimeWindow>() {
            @Override
            public void apply(Tuple tuple, TimeWindow window, Iterable<Tuple2<String, String>> input, Collector<String> out) throws Exception {
                System.out.println("當前窗口開始時間[" + window.getStart() + ",結束時間" + window.getEnd() + ")");
                for (Tuple2<String, String> element : input) {
                    out.collect(" - " + element.f1);
                }
            }
        }).print();

        env.execute("Flink WaterMark Test1");
    }
}

輸出：

Key:hello,EventTime:1553503185000,currentTimeStamp:1553503185000
當前水位線:1553503180000
當前水位線:1553503180000
當前水位線:1553503180000
當前水位線:1553503180000
Key:hello,EventTime:1553503186000,currentTimeStamp:1553503186000
當前水位線:1553503181000
當前水位線:1553503181000
當前水位線:1553503181000
當前水位線:1553503181000
當前水位線:1553503181000
Key:hello,EventTime:1553503187000,currentTimeStamp:1553503187000
當前水位線:1553503182000
當前水位線:1553503182000
當前水位線:1553503182000
當前水位線:1553503182000
當前水位線:1553503182000
Key:hello,EventTime:1553503188000,currentTimeStamp:1553503188000
當前水位線:1553503183000
當前水位線:1553503183000
當前水位線:1553503183000
當前水位線:1553503183000
當前水位線:1553503183000
Key:hello,EventTime:1553503189000,currentTimeStamp:1553503189000
當前水位線:1553503184000
當前水位線:1553503184000
當前水位線:1553503184000
當前水位線:1553503184000
當前水位線:1553503184000
Key:hello,EventTime:1553503190000,currentTimeStamp:1553503190000
當前水位線:1553503185000
當前水位線:1553503185000
當前水位線:1553503185000
當前水位線:1553503185000
當前水位線:1553503185000
Key:hello,EventTime:1553503191000,currentTimeStamp:1553503191000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
Key:hello,EventTime:1553503186000,currentTimeStamp:1553503191000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
Key:hello,EventTime:1553503187000,currentTimeStamp:1553503191000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
Key:hello,EventTime:1553503185000,currentTimeStamp:1553503191000  --消息EventTime小於水位線，消息EventTime大於等於窗口beginTime，保留
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
Key:hello,EventTime:1553503184000,currentTimeStamp:1553503191000 --消息EventTime小於窗口beginTime，被丟棄
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
Key:hello,EventTime:1553503183000,currentTimeStamp:1553503191000 --消息EventTime小於窗口beginTime，被丟棄
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
Key:hello,EventTime:1553503190000,currentTimeStamp:1553503191000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
Key:hello,EventTime:1553503192000,currentTimeStamp:1553503192000
當前水位線:1553503187000
當前水位線:1553503187000
當前水位線:1553503187000
當前水位線:1553503187000
當前水位線:1553503187000
Key:hello,EventTime:1553503193000,currentTimeStamp:1553503193000
當前水位線:1553503188000
當前水位線:1553503188000
當前水位線:1553503188000
當前水位線:1553503188000
當前水位線:1553503188000
Key:hello,EventTime:1553503194000,currentTimeStamp:1553503194000
當前水位線:1553503189000
當前水位線:1553503189000
當前水位線:1553503189000
當前水位線:1553503189000
當前水位線:1553503189000
Key:hello,EventTime:1553503195000,currentTimeStamp:1553503195000
當前水位線:1553503190000
當前水位線:1553503190000
當前窗口開始時間[1553503185000,結束時間1553503190000) -- 當前水位線:1553503190000 >= 窗口結束時間1553503190000 才觸發計算
4>  - 1553503185000
4>  - 1553503186000
4>  - 1553503187000
4>  - 1553503188000
4>  - 1553503189000
4>  - 1553503186000 --放在第一個窗口裏
4>  - 1553503187000 --放在第一個窗口裏
4>  - 1553503185000 --放在第一個窗口裏，消息1553503184000，消息1553503183000被丟棄
當前水位線:1553503190000
當前水位線:1553503190000
當前水位線:1553503190000
Key:hello,EventTime:1553503196000,currentTimeStamp:1553503196000
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
Key:hello,EventTime:1553503197000,currentTimeStamp:1553503197000
當前水位線:1553503192000
當前水位線:1553503192000
當前水位線:1553503192000
當前水位線:1553503192000
當前水位線:1553503192000
Key:hello,EventTime:1553503198000,currentTimeStamp:1553503198000
當前水位線:1553503193000
當前水位線:1553503193000
當前水位線:1553503193000
當前水位線:1553503193000
當前水位線:1553503193000
Key:hello,EventTime:1553503199000,currentTimeStamp:1553503199000
當前水位線:1553503194000
當前水位線:1553503194000
當前水位線:1553503194000
當前水位線:1553503194000
當前水位線:1553503194000
Key:hello,EventTime:1553503200000,currentTimeStamp:1553503200000
當前水位線:1553503195000
當前窗口開始時間[1553503190000,結束時間1553503195000) -- 當前水位線:1553503195000 >= 窗口結束時間1553503195000 才觸發計算
4>  - 1553503190000 
4>  - 1553503191000
4>  - 1553503190000
4>  - 1553503192000
4>  - 1553503193000
4>  - 1553503194000
當前水位線:1553503195000
當前水位線:1553503195000
當前水位線:1553503195000
當前水位線:1553503195000
Key:hello,EventTime:1553503201000,currentTimeStamp:1553503201000
當前水位線:1553503196000
當前水位線:1553503196000
當前水位線:1553503196000
當前水位線:1553503196000
當前水位線:1553503196000
Key:hello,EventTime:1553503202000,currentTimeStamp:1553503202000 --末尾元素入窗，也會觸發計算
當前水位線:1553503197000
當前窗口開始時間[1553503195000,結束時間1553503200000)
4>  - 1553503195000
4>  - 1553503196000
4>  - 1553503197000
4>  - 1553503198000
4>  - 1553503199000
當前窗口開始時間[1553503200000,結束時間1553503205000)
4>  - 1553503200000
4>  - 1553503201000
4>  - 1553503202000

 

2 修改1中的代碼，在window中加入排序：

 dataStream.map(new MapFunction<String, Tuple2<String, String>>() {
            @Override
            public Tuple2<String, String> map(String s) throws Exception {
                return new Tuple2<String, String>(s.split(",")[0], s.split(",")[1]);
            }
        }).keyBy(0)
                //.timeWindow(Time.seconds(5)).apply() // 作用同下，一樣能獲取到窗口開始和結束時間
                .window(TumblingEventTimeWindows.of(Time.seconds(5))).apply(new WindowFunction<Tuple2<String, String>, String, Tuple, TimeWindow>() {
            @Override
            public void apply(Tuple tuple, TimeWindow window, Iterable<Tuple2<String, String>> input, Collector<String> out) throws Exception {
                System.out.println("當前窗口開始時間[" + window.getStart() + ",結束時間" + window.getEnd() + ")");
                List<Tuple2<String, String>> list = new ArrayList<>();
                input.forEach(o -> list.add(o));
                list.sort((o1, o2) -> o1.f1.compareTo(o2.f1));
                //list.sort(Comparator.comparing(o -> o.f1)); // 與上句代碼同義，按照第二個屬性升序排序
                list.forEach(o -> out.collect(" - " + o.f1));
            }
        }).print();

        env.execute("Flink WaterMark Test2");

輸出：

............

Key:hello,EventTime:1553503195000,currentTimeStamp:1553503195000
當前水位線:1553503190000
當前窗口開始時間[1553503185000,結束時間1553503190000) -- 可見已對亂序到達的消息做了升序排序和處理
4>  - 1553503185000
4>  - 1553503185000
4>  - 1553503186000
4>  - 1553503186000
4>  - 1553503187000
4>  - 1553503187000
4>  - 1553503188000
4>  - 1553503189000
當前水位線:1553503190000
當前水位線:1553503190000
當前水位線:1553503190000
當前水位線:1553503190000
Key:hello,EventTime:1553503196000,currentTimeStamp:1553503196000
當前水位線:1553503191000

............

Key:hello,EventTime:1553503200000,currentTimeStamp:1553503200000
當前水位線:1553503195000
當前窗口開始時間[1553503190000,結束時間1553503195000) -- 可見已對亂序到達的消息做了升序排序和處理
4>  - 1553503190000
4>  - 1553503190000
4>  - 1553503191000
4>  - 1553503192000
4>  - 1553503193000
4>  - 1553503194000
當前水位線:1553503195000

 

3 修改1的代碼，不延遲，其他代碼不動：

            long maxDelayAllowed = 0l; //不延遲

輸出：

Key:hello,EventTime:1553503185000,currentTimeStamp:1553503185000
當前水位線:1553503185000
當前水位線:1553503185000
當前水位線:1553503185000
當前水位線:1553503185000
Key:hello,EventTime:1553503186000,currentTimeStamp:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
當前水位線:1553503186000
Key:hello,EventTime:1553503187000,currentTimeStamp:1553503187000
當前水位線:1553503187000
當前水位線:1553503187000
當前水位線:1553503187000
當前水位線:1553503187000
當前水位線:1553503187000
Key:hello,EventTime:1553503188000,currentTimeStamp:1553503188000
當前水位線:1553503188000
當前水位線:1553503188000
當前水位線:1553503188000
當前水位線:1553503188000
當前水位線:1553503188000
Key:hello,EventTime:1553503189000,currentTimeStamp:1553503189000
當前水位線:1553503189000
當前水位線:1553503189000
當前水位線:1553503189000
當前水位線:1553503189000
當前水位線:1553503189000
Key:hello,EventTime:1553503190000,currentTimeStamp:1553503190000
當前水位線:1553503190000
當前窗口開始時間[1553503185000,結束時間1553503190000) -- 當前水位線:1553503190000 >= 窗口結束時間1553503190000 才觸發計算
4>  - 1553503185000
4>  - 1553503186000
4>  - 1553503187000
4>  - 1553503188000
4>  - 1553503189000
當前水位線:1553503190000
當前水位線:1553503190000
當前水位線:1553503190000
當前水位線:1553503190000
Key:hello,EventTime:1553503191000,currentTimeStamp:1553503191000 -- 在第二個窗口
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
Key:hello,EventTime:1553503186000,currentTimeStamp:1553503191000 -- 在第二個窗口被丟棄，因爲EventTime小於
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
Key:hello,EventTime:1553503187000,currentTimeStamp:1553503191000  -- 在第二個窗口被丟棄
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
Key:hello,EventTime:1553503185000,currentTimeStamp:1553503191000  -- 在第二個窗口被丟棄
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
Key:hello,EventTime:1553503184000,currentTimeStamp:1553503191000  -- 在第二個窗口被丟棄
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
Key:hello,EventTime:1553503183000,currentTimeStamp:1553503191000  -- 在第二個窗口被丟棄
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
Key:hello,EventTime:1553503190000,currentTimeStamp:1553503191000 -- EventTime大於等於窗口beginTime，保留
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
當前水位線:1553503191000
Key:hello,EventTime:1553503192000,currentTimeStamp:1553503192000
當前水位線:1553503192000
當前水位線:1553503192000
當前水位線:1553503192000
當前水位線:1553503192000
當前水位線:1553503192000
Key:hello,EventTime:1553503193000,currentTimeStamp:1553503193000
當前水位線:1553503193000
當前水位線:1553503193000
當前水位線:1553503193000
當前水位線:1553503193000
當前水位線:1553503193000
Key:hello,EventTime:1553503194000,currentTimeStamp:1553503194000
當前水位線:1553503194000
當前水位線:1553503194000
當前水位線:1553503194000
當前水位線:1553503194000
當前水位線:1553503194000
Key:hello,EventTime:1553503195000,currentTimeStamp:1553503195000
當前水位線:1553503195000
當前窗口開始時間[1553503190000,結束時間1553503195000)
4>  - 1553503190000
4>  - 1553503191000
4>  - 1553503190000
4>  - 1553503192000
4>  - 1553503193000
4>  - 1553503194000
當前水位線:1553503195000
當前水位線:1553503195000
當前水位線:1553503195000
當前水位線:1553503195000
Key:hello,EventTime:1553503196000,currentTimeStamp:1553503196000
當前水位線:1553503196000
當前水位線:1553503196000
當前水位線:1553503196000
當前水位線:1553503196000
當前水位線:1553503196000
Key:hello,EventTime:1553503197000,currentTimeStamp:1553503197000
當前水位線:1553503197000
當前水位線:1553503197000
當前水位線:1553503197000
當前水位線:1553503197000
當前水位線:1553503197000
Key:hello,EventTime:1553503198000,currentTimeStamp:1553503198000
當前水位線:1553503198000
當前水位線:1553503198000
當前水位線:1553503198000
當前水位線:1553503198000
當前水位線:1553503198000
Key:hello,EventTime:1553503199000,currentTimeStamp:1553503199000
當前水位線:1553503199000
當前水位線:1553503199000
當前水位線:1553503199000
當前水位線:1553503199000
當前水位線:1553503199000
Key:hello,EventTime:1553503200000,currentTimeStamp:1553503200000
當前水位線:1553503200000
當前窗口開始時間[1553503195000,結束時間1553503200000)
4>  - 1553503195000
4>  - 1553503196000
4>  - 1553503197000
4>  - 1553503198000
4>  - 1553503199000
當前水位線:1553503200000
當前水位線:1553503200000
當前水位線:1553503200000
當前水位線:1553503200000
Key:hello,EventTime:1553503201000,currentTimeStamp:1553503201000
當前水位線:1553503201000
當前水位線:1553503201000
當前水位線:1553503201000
當前水位線:1553503201000
當前水位線:1553503201000
Key:hello,EventTime:1553503202000,currentTimeStamp:1553503202000
當前水位線:1553503202000
當前窗口開始時間[1553503200000,結束時間1553503205000)
4>  - 1553503200000
4>  - 1553503201000
4>  - 1553503202000

 

參考：

https://blog.csdn.net/xorxos/article/details/80715113

http://www.louisvv.com/archives/2189.html

http://www.louisvv.com/archives/2225.html

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

界面組件DevExpress Reporting中文教程 - 如何按條件顯示頁面水印？

DevExpress Reporting是.NET Framework下功能完善的報表平臺，它附帶了易於使用的Visual Studio報表設計器和豐富的報表控件集，包括數據透視表、圖表，因此您可以構建無與倫比、信息清晰的報表。 從防止未經

原創 2024-05-08 11:36:34

給picgo上傳的圖片加個水印

之前給大家介紹了picgo和免費的圖牀神器。我們本可以開開心心的進行markdown寫作了。 但是總是會有那麼一些爬蟲網站過來爬你的文章，還把你的文章標明是他們的原著。咋辦呢？這裏有一個好的辦法就是把markdown中上傳的圖片加上自己的水

原創 2024-04-16 21:30:57

如何將個人 NAS 裏的 Stable Diffusion 模型庫掛載到 PAI-EAS

通過在線遷移服務，您已經將SD公共模型庫的模型文件轉存到了自己的NAS文件目錄中，該存儲空間中的模型可以被用於SDWebUI，另外也可以將未來訓練和推理的結果保存到該NAS目錄中。您可以通過如下文件掛載方式來實現。 1.前往文件存儲NAS

原創 2023-08-09 00:20:15

@廣州 智在粵港澳，Serverless 爲創新提速

風從海上來，潮湧大灣區。粵港澳大灣區建設再加速，雲計算、人工智能等前沿科技持續激發產業潛能，催生產業全面邁向智能化。阿里雲峯會·粵港澳大灣區，將爲您呈現一幅科技創新新圖景。雲 Serverless 加速雲上開發，用 AI 新範式見證數智化變

原創 2023-05-22 21:14:28

如何將使用中的域名平滑遷移到京東雲？（以原域名註冊、域名解析都在萬網爲例）

作者：京東科技 林中 首先要了解的是，1、域名註冊 2、域名解析，是兩個獨立的產品。一般情況下，域名服務商（萬網、新網等）會提供一站式服務，既提供“域名購買註冊”，又提供“域名解析服務”。 但實際上，域名和域名解析是可以分開部署的，域名服務

原創 2023-02-01 23:33:31

Netty之WaterMark水位線

    Netty裏write數據的時候，是有水位線處理的，只要我們設置了。     Netty中write的時候，其實並沒有真正將數據寫到網絡上，而是寫到ChannelOutboundBuffer裏面緩存起來的，writeAndFlush

原創 2022-04-30 13:03:28

數字孿生實戰【Python源碼】

本文將介紹如何使用 Python 構建電子開關（晶體管）的數字孿生。 1、什麼是數字孿生？ IBM 將數字孿生定義如下“數字孿生是一種旨在準確反映物理對象的虛擬模型”，並指出創建數字孿生的主要促成因素是如何收集數據的傳感器和以某種特定格式/

原創 2022-04-30 12:13:31

UE4水下效果實現【後期處理】

Unreal的後期處理盒非常易於使用。它們本質上是不可見的應用相機效果的盒，一旦我們的相機進入後期處理盒，效果就會變得可見。在這個教程中，我們將學習如何創建一個非常簡單但非常受歡迎的水下效果，當我們的角色游泳時，這個後期處理會使場景變藍。

原創 2022-04-30 12:13:30

UAV無人機數字孿生研究論文

數字孿生是一組隨着時間的推移不斷髮展的耦合計算模型，用來持續表示獨特物理資產的結構、行爲和上下文。我們正在開發的方法和算法能夠創建預測性數字孿生。 本文所用的物理資產是定製的 12 英尺翼展無人機 (UAV)。我們構建了無人機的結構數字孿生

原創 2022-04-30 12:13:27

UE4動態繪製網格皮膚

網格繪畫是玩家在遊戲中的物體上繪畫的能力。網格繪畫的例子有Super Mario Sunshine中的 goop、 Portal 2中的凝膠和Splatoon中的墨水。它可以用作遊戲元素，也可以純粹用於視覺效果。無論哪種方式，網格繪畫都爲遊

原創 2022-04-30 12:13:25

UE4距離測試工具【源碼】

在這個教程中我們將學習如何使用藍圖製作一個簡單的距離測量工具，它可以測量空間中用戶定義的點之間的距離。 1、運行機制 距離測量工具是基於樣條線的。它包含一些藍圖函數，可讓你調整樣條曲線以獲得空間中兩個或多個點之間的距離。 要使用距離測試工

原創 2022-04-30 12:13:20

基於UE4的科學數據可視化

可視化是計算機科學的一個分支，致力於通過視覺表示來分析數據。科學可視化利用從工程、氣候科學和生物醫學等領域收集的數據的空間特性。科學可視化通過集成現代硬件來促進可視化分析，對計算機圖形具有很強的依賴性，但最終是將數據轉換爲可以呈現的形式。此

原創 2022-04-30 12:13:13

PolyGen生成三維模型【深度學習】

本文將介紹如何利用深度學習技術生成3D模型，使用了PyTorch和PolyGen。 1、概述 有一個新興的深度學習研究領域專注於將 DL 技術應用於 3D 幾何和計算機圖形應用程序，這一長期研究的集合證明了這一點。對於希望自己嘗試一些 3

原創 2022-04-30 12:13:09

uni-app 模擬機調試環境搭建

前言 最近接手了一份使用 uni-app 進行開發的工作，今天才有時間正式開始，在這裏記錄一下使用 HBuilderX 進行 uni-app 開發的調試環境搭建過程。 下載安裝 HBuilderX 進入 HbuilderX 官網 選擇你需

原創 2022-04-30 11:23:19

kafka架構和常見術語

Kafka是一個分佈式系統，易於向外擴展。它同時爲發佈和訂閱提供高吞吐量。它支持多訂閱者，當失敗時能自動平衡消費者。消息的持久化。 kafka架構 從圖上看到主要包含三個組件，producer, consumer, zookeeper,

原創 2022-04-30 11:04:27