ArcGIS + Kinetica για Ανάλυση Μεγάλων Χωρικών Δεδομένων

1
ArcGIS + Kinetica για Ανάλυση Μεγάλων Χωρικών Δεδομένων

Το ESRI ArcGIS είναι μια δοκιμασμένη λύση για προηγμένη ανάλυση και οπτικοποίηση γεωχωρικών δεδομένων. Η εφαρμογή είναι το de-facto πρότυπο για χωρική ανάλυση για δεκαετίες. Τα βασικά πλεονεκτήματα του προϊόντος περιλαμβάνουν τη διαχείριση επιπέδων, μια ευέλικτη διεπαφή χρήστη και μια εκτενή βιβλιοθήκη γεωχωρικών λειτουργιών.

Καθώς τα σύνολα δεδομένων γεωχωρικών δεδομένων εξελίσσονται ως αποτέλεσμα συσκευών IoT που είναι ικανές να μοιράζονται την τοποθεσία τους με την πάροδο του χρόνου, η διαχείριση και ανάλυση γεωχωρικών δεδομένων υφίσταται μια περίοδο διακοπής μεγάλων δεδομένων. Οι πρώτες προσπάθειες ενσωμάτωσης του ArcGIS με κατανεμημένες αναλυτικές βάσεις δεδομένων είχαν περιορισμένη επιτυχία, επειδή οι υποκείμενες αναλυτικές βάσεις δεδομένων όπως Spark, Snowflake, Oracle και άλλες, δεν σχεδιάστηκαν ποτέ για να υποστηρίξουν την πολυπλοκότητα γεωχωρικών ερωτημάτων μεγάλης κλίμακας, τη φύση εμπλουτισμένων δεδομένων IoT σε πραγματικό χρόνο. , ή την απόδοση σημείων δεδομένων υψηλής πιστότητας σε έναν χάρτη. Τελικά, οι πρώτες προσπάθειες να γίνει μεγάλη ανάλυση χωρικών δεδομένων ήταν περιορισμένες και προκάλεσαν υπερβολικό κόστος μηχανικής και υπολογισμού δεδομένων.

Οργανισμοί όπως η FAA, η Ford, η Liberty Mutual, η T-Mobile και άλλοι εκτελούν τις μεγαλύτερες και πιο σύνθετες περιπτώσεις χρήσης χωρικών και χρονοσειρών στο Kinetica. Το κέντρο σχεδιασμού της Kinetica βασίζεται στον χειρισμό σύγχρονων χωροχρονικών φόρτων εργασίας σε ογκώδη (δισεκατομμύρια σειρές) και σύνολα δεδομένων ροής. Τα βασικά πλεονεκτήματα του προϊόντος περιλαμβάνουν:

  • Εκτεταμένη υποστήριξη για geo-joins όπως contain, in-a-distance, intersect, overlap και άλλα
  • Προηγμένες γεωχωρικές αναλυτικές συναρτήσεις όπως st_*, stxy_*, ίχνη οντοτήτων και άλλα
  • Αντιστοίχιση και επίλυση γραφημάτων
  • Ενσωμάτωση εγγενούς Kafka και κατανεμημένη απορρόφηση για επεξεργασία σε πραγματικό χρόνο
  • Υποστήριξη Web Mapping Service (WMS) και Vector Tile για απόδοση από πλευράς διακομιστή θερμικών χαρτών, περιγραμμάτων, κομματιών, μοναδικής αξίας και σπασίματος σε δισεκατομμύρια εγγραφές

Η δύναμη του Kinetica σε συνδυασμό με το ArcGIS μπορεί να φανεί σε αυτήν την επίδειξη χρησιμοποιώντας δεδομένα από σήματα κινητών τηλεφώνων.

Με την κυκλοφορία της 7.1.8, η Kinetica πλέον ενσωματώνεται ευκολότερα με το ArcGIS για να συγκεντρώσει αυτές τις συμπληρωματικές τεχνολογίες για τον εκσυγχρονισμό του φόρτου εργασίας του IoT. Τα δεδομένα στο Kinetica μπορούν να διατεθούν στο ArcGIS Insights μέσω της σύνδεσης ArcGIS JDBC και μέσω του ArcGIS Python API. Οι χρήστες μπορούν στη συνέχεια να χρησιμοποιήσουν το ArcGIS Insights ως περιβάλλον οπτικής ανάλυσης με όλες τις σχετικές λειτουργίες που είναι απαραίτητες για την επεξεργασία, την ανάλυση και την εμφάνιση χωρικών δεδομένων με ακρίβεια και ακρίβεια. Η Kinetica μπορεί να δημιουργήσει γρήγορα επίπεδα WMS (Web Mapping Service) που μεταβιβάζονται στο ArcGIS. Αυτό δίνει τη δυνατότητα στο ArcGIS να εμφανίζει εκατομμύρια ή και δισεκατομμύρια σημεία σε έναν χάρτη και να τα ενημερώνει συνεχώς για να εμφανίζει αλλαγές με την πάροδο του χρόνου καθώς τα δεδομένα ρέουν στο Kinetica.

Ακολουθεί μια επίδειξη του τρόπου αξιοποίησης του Kinetica και του ArcGIS για πρόσβαση σε σύνολα δεδομένων πολλών δισεκατομμυρίων σειρών, εκτέλεση αναλύσεων και εμφάνιση των αποτελεσμάτων στον καμβά του χάρτη.

Δοκιμάστε το μόνοι σας. Το παρακάτω απόσπασμα δείχνει πώς να συνδεθείτε στο Kinetica, να εκτελέσετε ένα γεωχωρικό ερώτημα και να δημοσιεύσετε αυτό το επίπεδο στο ESRI.


import arcgis,arcpy,gpudb

obj = gpudb.GPUdb(host="http://localhost:9191",disable_auto_discovery=True)

df = obj.execute_sql_and_decode(f'SELECT TRACKID,x,y FROM demo.shipping limit 10000')

myDf = pd.DataFrame.from_dict(df['records'])

# Convert to spatial dataframe
GeoAccessor.from_xy(myDf, 'x', 'y')

gis = GIS(url="https://www.arcgis.com",username="USER",password="PASSWORD")

gis.content.import_data(myDf)

Δεν είστε ακόμα χρήστης του Kinetica; Δοκιμάστε το Kinetica Developer Edition δωρεάν!

Schreibe einen Kommentar