Etkili Veri Manipülasyonu: Kurumsal Veri Yönetimi ve Otomasyon Sistemleri İçin Yenilikçi Yaklaşımlar

Abdulkadir Karabacak

Intellica Ar-Ge Merkezi

Ergün Okay

Intellica Ar-Ge Merkezi

Eren Denli

Intellica Ar-Ge Merkezi

DOI: https://doi.org/10.56038/oprd.v3i1.348

Keywords: Veri Yönetim Platformu, Veri Manipülasyonu, Normalizasyon, Veri Maskleme, Veri Birleştirme, Veri Filtreleme, Veri Dönüşümü,, Veri Toplama


Abstract

Bu çalışma, kurumların ilgili birimlerine verilere merkezi bir noktadan erişim sağlayan, veri girişinde kısıtlamalar ve kurallar uygulayan, hatalı veri girişini önleyen ve veri üzerindeki sorunları düzeltebilen bir data manipülasyon sistemi ve yöntemini ele almaktadır. Ayrıca, bu sistem, tablo/satır/kolon bazında yetkilendirmeler aracılığıyla detaylı erişim kısıtlamaları oluşturmakta ve dosyalardaki bilgilerin veritabanlarına basit yöntemlerle aktarılmasını kolaylaştırmaktadır. Çalışmanın amacı, kurumlarda verinin merkezi olarak saklanması, denetlenmesi, yetkilendirilmesi ve süreçlerin merkezi ve sistematik bir şekilde yönetilmesini sağlamaktır. Günümüzde, tablo oluşturma, veri tutarlılık kontrolleri, veri üzerinde yetkilendirme ve kısıtlamalar, dosyadaki bilgilerin düzenli bir veritabanı yapısında saklanması gibi işlemler teknik beceri ve birden fazla uygulama desteği gerektirir. Dosyalarda tutulan verilerin kontrolü ve paylaşılmasındaki zorluklar, merkezi kontrol eksikliği nedeniyle zaman kaybı ve hatalı veri oluşumuna yol açabilir. Bu eksikliklerin giderilmesi için, dosyalarda tutulan verilerin düzenli bir veritabanında saklanması, kullanıcıların yetkileri doğrultusunda sadece ilgili verilere erişim sağlanması, veritabanına aktarılacak verinin onay mekanizmaları ile kontrol edilmesi, veri içeriğinin belirlenen kurallara uygunluğunun denetlenmesi ve içerikteki istenilen değişikliklerin otomatik olarak yapılabilmesi gerekmektedir. Bu ihtiyaçların karşılanmasına yönelik çözümlerin eksikliği, ilgili teknik alanda bir gelişmeye ihtiyaç duyulduğunu ortaya koymaktadır.

Anahtar: Veri Yönetim Platformu, Veri Manipülasyonu, Normalizasyon, Veri Maskleme, Veri Birleştirme, Veri Filtreleme, Veri Dönüşümü, Veri Toplama


References

Referanslar

Yildiz, B. "Optimizing bitmap index encoding for high performance queries." Concurrency and Computation: Practice and Experience 33, no. 18 (2021): e5943. https://doi.org/10.1002/cpe.5943 DOI: https://doi.org/10.1002/cpe.5943

Yildiz B., Wu K., Byna, S. and Shoshani, A. “Parallel membership queries on very large scientific data sets using bitmap indexes,” Concurrency and Computation: Practice and Experience, 31(15), e5157, 2019. DOI: 10.1002/cpe.5157 DOI: https://doi.org/10.1002/cpe.5157

Yildiz B. and Fox, G.C. “Toward a modular and efficient distribution for web service handlers,” Concurrency and Computation: Practice and Experience, 25(2), pp. 410-426, 2013. DOI: 10.1002/cpe.2854. DOI: https://doi.org/10.1002/cpe.2854

Yildiz, B., 2022, September. Enhancing Image Resolution with Generative Adversarial Networks. In 2022 7th International Conference on Computer Science and Engineering (UBMK) (pp. 104-109). IEEE. DOI: https://doi.org/10.1109/UBMK55850.2022.9919520

Saad, A.M.S.E. and Yildiz, B., 2022, September. Reinforcement Learning for Intrusion Detection. In International Conference on Computing, Intelligence and Data Analytics (pp. 230-243). Cham: Springer International Publishing. DOI: https://doi.org/10.1007/978-3-031-27099-4_18

Aktas, M.S., Detecting Complex Events With Real Time Monitoring Infrastructure On Event-Based Systems, Pamukkale Univ Muh Bilim Derg. 2019; 25(2): 199-207 | DOI: 10.5505/pajes.2018.28044, 2019. DOI: https://doi.org/10.5505/pajes.2018.28044

Yildiz, B., "Reinforcement learning using fully connected, attention, and transformer models in knapsack problem solving." Concurrency and Computation: Practice and Experience 34, no. 9 (2022): e6509. DOI: 10.1002/cpe.6509 DOI: https://doi.org/10.1002/cpe.6509

Yildiz, B. and Tezgider M. “Improving word embedding quality with innovative automated approaches to hyperparameters,” Concurrency and Computation: Practice and Experience, 33(18), e6091, 2021. DOI: 10.1002/cpe.6091. DOI: https://doi.org/10.1002/cpe.6091

Aktas, M.S., et al. "Information services for dynamically assembled semantic grids", The First International Conference on Semantics Knowledge and Grid (SKG 2005) Beijing China, 2005. DOI: https://doi.org/10.1109/SKG.2005.83

Aktas, M.S. et al., "Information services for grid/web service oriented architecture (soa) based geospatial applications", The First International Conference on Semantics Knowledge and Grid (SKG 2005) Beijing China, 2005

Aktas, M.S., Fox, G.C., Pierce, M., Managing dynamic metadata as context, The 2005 Istanbul International Computational Science and Engineering Conference (ICCSE2005), Istanbul, Turkey, 2005.

Aktas, M.S., et al., Implementing geographical information system grid services to support computational geophysics in a service-oriented environment. NASAEarth-Sun System Technology Conference, University of Maryland, Adelphi, Maryland, 2005.

Baloglu, A., Aktas, M. S., BlogMiner: Web blog mining application for classification of movie reviews, 2010 Fifth International Conference on Internet and Web Applications and Services, 2010. DOI: https://doi.org/10.1109/ICIW.2010.19

Uygun, Y., et al., On the Large-scale Graph Data Processing for User Interface Testing in Big Data Science Projects, 2020 IEEE International Conference on Big Data (Big Data), Atlanta, GA, USA, 2020, pp. 2049-2056, doi: 10.1109/BigData50022.2020.9378153. DOI: https://doi.org/10.1109/BigData50022.2020.9378153

Olmezogullari, E.; Aktas, M. S., Pattern2Vec: Representation of clickstream data sequences for learning user navigational behavior. Concurrency and Computation: Practice and Experience 34 (9), 2022. DOI: https://doi.org/10.1002/cpe.6546

Olmezogullari, E.; Aktas, M. S., Representation of Click-Stream DataSequences for Learning User Navigational Behavior by Using Embeddings. 2020 IEEE International Conference on Big Data (Big Data), 3173-3179, 2020. DOI: https://doi.org/10.1109/BigData50022.2020.9378437

Sahinoglu, M. et al., Mobile Application Verification: A Systematic Mapping Study. In: , et al. Computational Science and Its Applications – ICCSA 2015. ICCSA 2015. Lecture Notes in Computer Science, vol 9159. Springer, Cham. https://doi.org/10.1007/978-3-319-21413-9 11 DOI: https://doi.org/10.1007/978-3-319-21413-9_11

Kapdan, M. et al., On the Structural Code Clone Detection Problem: A Survey and Software Metric Based Approach. In: , et al. Computational Science and Its Applications – ICCSA 2014. ICCSA 2014. Lecture Notes in Computer Science, vol 8583. Springer, Cham. https://doi.org/10.1007/978-3-319-09156-3 35. DOI: https://doi.org/10.1007/978-3-319-09156-3_35

Tufek, A., et al., Provenance Collection Platform for the Weather Research and Forecasting Model, 2018 14th International Conference on Semantics, Knowledge and Grids (SKG), Guangzhou, China, 2018, pp. 17-24, doi: 10.1109/SKG.2018.00009. DOI: https://doi.org/10.1109/SKG.2018.00009

Dundar, B. et al., A Big Data Processing Framework for Self-Healing Internet of Things Applications, 2016 12th International Conference on Semantics, Knowledge and Grids (SKG), Beijing, China, 2016, pp. 62-68, doi: 10.1109/SKG.2016.017. DOI: https://doi.org/10.1109/SKG.2016.017

Baeth, M. J. et al., Detecting Misinformation in Social Networks Using Provenance Data, 2017 13th International Conference on Semantics, Knowledge and Grids (SKG), Beijing, China, 2017, pp. 85-89, doi: 10.1109/SKG.2017.00022. DOI: https://doi.org/10.1109/SKG.2017.00022

Most read articles by the same author(s)