Posts

Cloud Based Data Science Tools

Cloud-Based Data Science Tools 1.   Fully Integrated Visual Tools and Platforms A.     Watson Studio with Watson Open Scale B.      Microsoft’s Azure Machine Learning C.      H 2 O.ai 2.   Data Management A.     Amazon DynamoDB (NoSQL data type tool) B.      Cloudant C.      DB2 3.   Data Integration and Transformation A.     Informatica B.      IBM Data Refinery 4.   Data Visualization A.     Datameer B.      IBM Cognos Analysis C.      Watson Studio   5.   Model Building A.     IBM Watson Machine Learning B.      Google Cloud 6.   Model Deployment A.     IBM Watson Machine Learning   7.   Model Monitoring and Assessment A.     Amazon SageMaker model monitor B.      Watson OpenScale   Libraries for Data Science Python Libraries 1.      Scientific Computing Libraries in Python 2.      Visualization in Python 3.      High level Machine Learning and Deep Learning

Open-source and Commercial Tools for Data Science

Open-source Tools for Data Science A.   Data Management Tools 1. SQL tools    MySQL, PostgreSQL,   Microsoft SQL 2. NoSQL tools MongoDB, Hadoop,   Ceph, Elasticsearch, CouchDB Apache Casandra B.   Data Integration and Transformation Tools 1.      Apache Airflow, 2.      Apache Kafka, 3.      Kubeflow, 4.      Apache Nifi, 5.      Spark SQQL 6.      Node RED   C.    Data visualization tools 1.      Hue, 2.    Kibana, 3.    Apache Superset D. Model Deployment 1.      Apache Prediction IO, 2.      Seldon 3.      M leap 4.      TensorFlow services 5.      TensorFlow Lite E.    Model Monitoring and Assessment tools, 1.      Model DB 2.      Prometheus IBM Research Trusted AI 3.      AI Fairness Open-Source Tool kit 4.      Adversarial Robustness 360 Toolbox 5.      AI Explainability 360 F.    Code Asset Management Tools 1.      Git 2.      GitHub 3.      GitLab 4.      Bitbucket G.   Data Asset Management 1.      Apache Atlas 2.      ODPi EGERIA 3.      Kaylo   H.    Development Tools 1.  

የውሂብ አይነቶች (Data Types) Continued...

  የተደራጀ ዳታ ( structured data ) የተደራጀ መረጃ አስቀድሞ የተቀመጠን ቅርጽ/ፎርማት ተከትሎ በመዝገብ ወይም ፋይል ውስጥ በቋሚ መስኮች ( rows and columns ) የሚኖር የተደራጀ መረጃን ያመለክታል። የተደራጀ መረጃ ሲባል በተወሰነ አይነት ፎርማት የተመሰረተ በሰዎችና ማሽኖች በቀላሉ ለመረዳት አመቺ የሆነ በመረጃ ቋት ላይ የሚቀመጥ የመረጃ አይነት ነው። ባህሪውን ስንመለከት በከፍተኛ ሁኔታ የተደራጀና በማሽን መማሪያ ቅደም ተከተሎች (machine learning algorithms) በቀላሉ ሊፈተሽ የሚችል ነው። በተዛማጅ ዳታቤዞች (RDM S ) እንዲሁም በዝርግ ሰንጠረዦች (spreadsheets) ይቀመጣል። እያንዳንዱ የሚቀመጠው መረጃ የራሱ መቀመጃ በአግድም እና በቋሚ መስመሮች ( row, column ) የሚገለጽ ሲሆን በቀላሉ ፈልጎ ለማግኘት አስቸጋሪ አይደለም። በተጨማሪም እንዲህ አይነት በሰንጠረዥ መልክ የሚቀመጡ መረጃዎች በቀላሉ ለማዘመን ( update, edit )፣ ለመሰረዝ( delete )፣ ለመፈለግና( search) ዘመናዊ የመረጃ መተንተኛ መሳሪያዎችን በመጠቀም በቀላሉ ለመተንተን ( analysis ) ቀላል ያደርጋቸዋል።  የማከማቻ ቅርጹ/ፎርማቱ - የተደራጁ መረጃዎችን በዳታቤዝ (የመረጃ ጎተራ ልንለው እንችላለን) ውስጥ ማስቀመጥ ይቻላል በአብዛኛው በተዛማጅ ዳታቤዝ አስተዳደር ስርዓት (RDBMS) በመጠቀም ማስቀመጥ እንችላለን። ምሳሌ የሚሆኑን ተዛማጅ ዳታቤዝ አስተዳደር ስርዓት (RDBMS)፣ ጄሰን ( JSON )፣ XML ፋይል፣ Excel Sheets፣ CSV (Comma-Separated Values፣ SQL (Structured Query Language) ተጠቃሽ ናቸው። እነዚህን የመረጃ ማስቀመጫ ስርዓቶች በመጠቀም ቀናትን፣ ስሞችን፣