Open-source and Commercial Tools for Data Science

Open-source Tools for Data Science

A.  Data Management Tools

1. SQL tools

  •   MySQL,
  • PostgreSQL,
  •  Microsoft SQL

2. NoSQL tools

  • MongoDB,
  • Hadoop,
  •  Ceph,
  • Elasticsearch,
  • CouchDB
  • Apache Casandra

B.  Data Integration and Transformation Tools

1.     Apache Airflow,

2.     Apache Kafka,

3.     Kubeflow,

4.     Apache Nifi,

5.     Spark SQQL

6.     Node RED

 

C.   Data visualization tools

1.     Hue,

2.   Kibana,

3.   Apache Superset

D. Model Deployment

1.     Apache Prediction IO,

2.     Seldon

3.     M leap

4.     TensorFlow services

5.     TensorFlow Lite

E.   Model Monitoring and Assessment tools,

1.     Model DB

2.     Prometheus

IBM Research Trusted AI

3.     AI Fairness Open-Source Tool kit

4.     Adversarial Robustness 360 Toolbox

5.     AI Explainability 360

F.   Code Asset Management Tools

1.     Git

2.     GitHub

3.     GitLab

4.     Bitbucket

G.  Data Asset Management

1.     Apache Atlas

2.     ODPi EGERIA

3.     Kaylo

 

H.   Development Tools

1.     Jupyter

2.     Jupyter Lab

3.     Apache Zeppelin

4.     R Studio

5.     Spyder

I.     Cluster Execution Tools

1.     Apache Spark

2.     Apache Flink

3.     Rise lab Ray

J.     Fully Integrated Tools

1.     KNIME

2.     Orange

Commercial Tools for Data Science

A.  Data management tools

1.     Oracle

2.     Microsoft SQL

3.     IBM DB2

B.  Data Integration and Transformation Tools

1.     Informatica

2.     IBM InfoSphere DataStage

3.     Talend

4.     IBM Watson Studio Desktop

C.   Data Visualization Tools

1.     Microsoft Power BI

2.     Tableau

3.     IBM Cognos Analytics

4.     IBM Watson Studio Desktop

D. Model Building Tools

1.     SPSS

2.     SAS

3.     IBM Watson Studio Desktop (cloud-based tool)

E.   Model Deployment Tool

1.     IBM SPSS Collaboration and Deployment Services

F.     Model Monitoring and Assessment Tool

·        No relevant Commercial Tool for this new discipline therefore you must use one of the open-source software available.

G.  Code Asset Management Tool

1.     Git

2.     GitHub

H. Data Asset Management

1.     Informatica

2.     IBM InfoSphere Information Governance Catalog

I.     Development Environment

1.     IBM Watson Studio Desktop

J.     Fully Integrated Development Environment

1.     Watson Studio with Watson Open Scale

2.     H2O ai

Comments

Post a Comment

Popular posts from this blog

ዳታ ሳይንስ ምንድን ነው?

   መግቢያ ይህ ክፍል እያዘጋጀሁት ካለው መጻፍ የተቀነጨበ ክፍል ነው። እኔን ማግኘት ለምትፈልጉ email: sendekdesalegn@gmail.com,  Telegram: https://t.me/Desalegn_Sendek, LinkedIn: https://www.linkedin.com/in/desalegn-sendek-895644228/ Facebook:  https://www.facebook.com/desalegn.sendek.5/ መጠቀም ትችላላችሁ። መልካም ንባብ። በሚከተሉት ምዕራፎች የመረጃ መሰረታዊ ጽንሰ ሀሳቦችን፣ ጥሬ መረጃን ለመተንተንና ጥቃሚ የሆኑ መረጃዎችን ለማመንጨት የሚያስችሉ የሳይንስና ቴክኖሎጂዎች ትንበያዎችን እንዲሁም የንግድ ችግሮችን ለመፍታት የሚያስችሉ ሃሳቦችን እንመለከታለን።  በዚህ መጽሐፍ ውስጥ 7 ምዕራፎች አሉ። በዚህ መጽሃፍ ሁሉንም መረጃ የመመርመር ጽንሰ-ሃሳቦችን ለመረዳት እንሞክራለን። ትምህርቱ በአጭር ጊዜ ዉስጥ (በአንድ ሳምንት) ብቻ ብዙ መጠን ካለው መረጃ እንዴት ትርጉም ያለው አተያይ ማግኘት እንደምንችል እናያለን።   ስለመጽሃፉ እያንዳንዱ ምዕራፎች እንደመግቢያ እንደሚከተለው እናብራራላችኋለን።  የመፅሃፉ የመጀመሪያና ሁለተኛ ምዕራፎች ከአየር ሁኔታ ትንበያ እስከ የሳይበር ጥቃቶች ድረስ ያሉትን የመረጃ ሳይንስ ቴክኖሎጂዎች በዕለት ተዕለት ህይወታችን ውስጥ ያላቸውን ጠቀሜታ ለመረዳት ይረዳናል። እንዲሁም የተለያዩ  የውሂብ (Data) አይነቶች እና የተለያዩ  የውሂብ (Data) ሳይንስ አተገባበር ስልቶችን እንማራለን። በአርቴፊሻል ኢንተለጀንስ እና/ወይም በማሽን መማሪያ (Machine Learning) ስልተ ቀመሮች ላይ የተመሰረቱ ጥቅሞች (አፕሊኬሽኖች)ን  መዘርጋት ለሚፈልጉ ፕሮጀክቶች በስፋት ጥቅም ላይ የሚውለው  የውሂብ (Data) ሳይንስ የህይ
Read more

my trip to be a good software engineer.

   It is two years since I wrote on blogspot.com I do not know why I waited such a long time to return. But it is good to come back from a long long sleep. I had a lot to tell how hard I went those times.  Once upon a time, in the bustling city of Addis Ababa, lived a software engineer named Desalegn Sendek. He was a diligent worker, always eager to learn and adapt. However, the rapid pace of technological advancements was starting to overwhelm him. Every day, Desalegn would wake up to a plethora of videos about the latest programming languages, frameworks, and tools. The tech industry was evolving at a breakneck speed, and Desalegn was finding it hard to keep up. He would spend countless hours learning a new language, only to find out that the industry had moved on to something else. It was like trying to hit a moving target. The more he tried to keep up, the more he felt left behind. One day, while struggling with a piece of code in a language he had just started learning, Desaleg
Read more

የውሂብ አይነቶች (Data Types) Continued...

  የተደራጀ ዳታ ( structured data ) የተደራጀ መረጃ አስቀድሞ የተቀመጠን ቅርጽ/ፎርማት ተከትሎ በመዝገብ ወይም ፋይል ውስጥ በቋሚ መስኮች ( rows and columns ) የሚኖር የተደራጀ መረጃን ያመለክታል። የተደራጀ መረጃ ሲባል በተወሰነ አይነት ፎርማት የተመሰረተ በሰዎችና ማሽኖች በቀላሉ ለመረዳት አመቺ የሆነ በመረጃ ቋት ላይ የሚቀመጥ የመረጃ አይነት ነው። ባህሪውን ስንመለከት በከፍተኛ ሁኔታ የተደራጀና በማሽን መማሪያ ቅደም ተከተሎች (machine learning algorithms) በቀላሉ ሊፈተሽ የሚችል ነው። በተዛማጅ ዳታቤዞች (RDM S ) እንዲሁም በዝርግ ሰንጠረዦች (spreadsheets) ይቀመጣል። እያንዳንዱ የሚቀመጠው መረጃ የራሱ መቀመጃ በአግድም እና በቋሚ መስመሮች ( row, column ) የሚገለጽ ሲሆን በቀላሉ ፈልጎ ለማግኘት አስቸጋሪ አይደለም። በተጨማሪም እንዲህ አይነት በሰንጠረዥ መልክ የሚቀመጡ መረጃዎች በቀላሉ ለማዘመን ( update, edit )፣ ለመሰረዝ( delete )፣ ለመፈለግና( search) ዘመናዊ የመረጃ መተንተኛ መሳሪያዎችን በመጠቀም በቀላሉ ለመተንተን ( analysis ) ቀላል ያደርጋቸዋል።  የማከማቻ ቅርጹ/ፎርማቱ - የተደራጁ መረጃዎችን በዳታቤዝ (የመረጃ ጎተራ ልንለው እንችላለን) ውስጥ ማስቀመጥ ይቻላል በአብዛኛው በተዛማጅ ዳታቤዝ አስተዳደር ስርዓት (RDBMS) በመጠቀም ማስቀመጥ እንችላለን። ምሳሌ የሚሆኑን ተዛማጅ ዳታቤዝ አስተዳደር ስርዓት (RDBMS)፣ ጄሰን ( JSON )፣ XML ፋይል፣ Excel Sheets፣ CSV (Comma-Separated Values፣ SQL (Structured Query Language) ተጠቃሽ ናቸው። እነዚህን የመረጃ ማስቀመጫ ስርዓቶች በመጠቀም ቀናትን፣ ስሞችን፣
Read more