Page 359 - NEIC_FINAL REPORT_Appendix
P. 359
สรุปการประชุม
ท่ีปรึกษาอธิบายถึงหลกั การของการวางระบบทเ่ี ปน็ big data และนําเสนอรูปแบบโครงสรา้ งของการจดั ทํา ระบบต้นแบบสาธิต โดยอธิบายดังนี้
- ระบบประกอบด้วย software คือ Cloudera, Hadoop (Big data platform)
- การทํา Data Integration จะออกแบบข้อมูลจากหน่วยงานต่าง ๆ ให้อยู่ใน schema เดียวกัน
- Hive คือ clustered database ที่อยู่ใน Hadoop
- Datamart คือ การจัดเตรียม data แต่ไม่ได้จัดให้อยู่ในรูปแบบท่ีสามารถดึงมาใช้งานได้ง่าย
- Data warehouse เป็นที่จัดเก็บข้อมูลที่เป็น historical data ซึ่งสามารถอยู่ในระบบ การจัดเก็บท่ีมตี้นทุนต่ําหรอื"cheapstorage"ในbigdataplatform.2TB=$10/month
- ระบบ Big data ที่อยู่บน cloud ให้ผู้ใช้งานสามารถเปิด/ปิดการใช้งานข้อมูลได้เมื่อตอ้ งการ และจ่ายเฉพาะตอนทใ่ี ช้งาน ดังน้ันข้อมูลที่ไม่ได้ใช้งานบ่อย ๆ ก็จะถูกเก็บใน cheap storage
- ระบบ Big data ที่เป็น On premise มีข้อดีที่ว่าเจ้าของข้อมูลสามารถเข้าถึงข้อมูลได้ ตลอดเวลา
- Usage level - มี 2 รูปแบบในการนํา data มาใช้งาน
o Via APIs – ผู้ใช้งานข้อมูลภายนอกสามารถเข้าถึงข้อมูลโดยผ่าน APIs เท่านั้น ซึ่งจะ ทําให้มีการบริหารจัดการข้อมูลตามธรรมาภิบาลข้อมูล หรือ. Data Governance ได้ ซ่ึงข้อมูลที่ดึงจาก APIs สามารถเป็นแบบ 2 ทาง คือ in-out. และ Output อยู่ในรูปของ: JSON
o Dashboards
▪ Analytics - ใช้ภาษา Python
▪ Business Intelligence/Visualization - Tableau - ระบบต้นแบบสาธิต:
o การดึงข้อมูลจาก APIs ภายนอกจะใช้ Python หรือ NodeJS. Installed บน Linux. o Integration ใช้เป็น NoSQL database ที่ปรึกษาต้องการเครื่องที่มีพื้นที่ storage
ที่มีความจุมาก
15/1/63 - 2
