Page 634 - NEIC_FINAL REPORT

5 - 30
จากรูปที่ 5.2-2 แสดงการออกแบบระบบจัดเก็บและประมวลผลข้อมูลพลังงานที่สอดคล้องกับหลักการ การออกแบบการจัดเก็บฐานข้อมูลที่ได้กล่าวไปก่อนหน้า โดยเป็นการแบ่งระบบการจัดเก็บและประมวลผลข้อมูล ออกเป็น สามส่วนคือ 1) Data Acquisition 2) Data Management Platform และ 3) Data Analytics Platform โดยรายละเอียดในแต่ละส่วนมีดังนี้
1. Data Acquisition เป็นระบบที่ทําหน้าที่รับข้อมูลจากแหล่งต้นทาง (Data Source) ภายนอกผ่านทาง ช่องทางต่าง ๆ เช่น การเชื่อมต่อกับฐานข้อมูล (Database Connection) หรือการเชื่อมต่อไปยัง ระบบให้บริการภายนอกแบบ API (API Gateway) โดยข้อมูลจะถูกประมวผลผ่านทางระบบ Data Staging โดยใช้เทคนิค ETL (Extract-Transformation-Load) กล่าวคือ ETL จะทําการดึง (Extract) ข้อมูลภายนอกผ่านทาง Data Acquisition เพื่อทําการแปลง (Transformation) ข้อมูล ที่อาจจะไม่อยู่ในรูปแบบที่เหมาะสม โดยอาจจะมีการเก็บไว้ในฐานข้อมูลชั่วคราว (Temporary Database) เพื่อเพิ่มประสิทธิภาพในการประมวลผล แล้วจึงทําการนําข้อมูลที่ได้แปลงให้อยู่ในรูปแบบ ที่เหมาะสม (Well-Designed) แล้วจึงนําไปใส่ (Load) ไว้ใน HDFS หรือ Hadoop File System ซึ่งเป็นระบบเก็บข้อมูลที่เหมาะสมกับการประมวลผลข้อมูลขนาดใหญ่
สําหรับกระบวนการดึงข้อมูล จะแบ่งการทําดึงข้อมูลได้จากสองแหล่งคือ ในรูปแบบแรก เป็นการดึงข้อมูลจากฐานข้อมูลปัจจุบัน (Operational Database) ของ หน่วยงานต่าง ๆ ที่เป็นผู้ดูแล ข้อมูล (Data Owner) ซึ่งส่วนใหญ่จะอยู่ในรูปของ Relational Database เช่น Microsoft Sql Server หรือ Oracle Mysql เป็นต้น ส่วนในรูปแบบท่ีสอง จะเป็นการดึงข้อมูลจากหน่วยงานภายนอกผ่านทาง API เช่น การดึงค่าอัตราแลกเปลี่ยนเงินตราจากธนาคารแห่งประเทศไทย เป็นต้น
เมื่อทําการดึงข้อมูลมาแล้ว จะทําการแปลงข้อมูลให้อยู่ในรูปแบบที่เหมาะสม เช่น การทํา Normalization หรือ Denormalization ตามแต่ความเหมาะสม สาเหตุที่ต้องทํากระบวนการแปลง ข้อมูลเนื่องจากข้อมูลที่อยู่ในฐานข้อมูลหรือ API ภายนอก อาจจะไม่อยู่ในรูปแบบที่เหมาะสมต่อการ วิเคราะห์ข้อมูล เช่น อาจจะไม่อยู่ในรูปแบบ Time-Series ที่เหมาะสมเป็นต้น โดยการแปลงข้อมูล อาจจะอาศัยการเขียนโปรแกรม หรือใช้โปรแกรมสําเร็จรูป เช่น Talend Data Integration หรือ Microsoft SQL Server Integration Service โดยอาจจะแปลงข้อมูลเป็นรอบ (Batch) หรือ แปลงตลอดเวลา (Stream) ก็ได้ ขึ้นอยู่กับประเภทของข้อมูล
5.2-8
Strategic Design and Development Study of the National Energy Information Center to Support National Energy Plan โครงการศึกษาการจัดทําาแผนยุทธศาสตร์และออกแบบการพัฒนาศูนย์สารสนเทศพลังงานแห่งชาติ เพื่อรองรับการใช้ข้อมูลขนาดใหญ่ (Big Data) ในการขับเคล่ือนแผนพลังงานของประเทศไทย
โครงการศึกษาการจัดทําแผนยุทธศาสตร์และออกแบบการพัฒนาศูนย์สารสนเทศ พลังงานแห่งชาติเพื่อรองรับการใช้ข้อมูลขนาดใหญ่ (Big Data) ในการขับเคลื่อน แผนพลังงานของประเทศไทย
รายงานฉบับสมบูรณ์