Page 703 - NEIC_FINAL REPORT

โครงการศึกษาการจัดทําแผนยุทธศาสตร์และออกแบบการพัฒนาศูนย์สารสนเทศ
พลังงานแห่งชาติเพื่อรองรับการใช้ข้อมูลขนาดใหญ่ (Big Data) ในการขับเคลื่อน โคโครงรกงการาศรศึกึกษษาากกาารรจจัดัดทําําแผนยุทุทธศาสตร์แ์และออกแบบการพัฒัฒนาศูนูนย์ส์สารสนเทเทศ
แผนพลังงานของประเทศไทย พพลลังงังางนานแแหห่ง่งชชาาตติเพิเพื่อื่อรรอองงรรับับการใใช้ข้ข้อ้อมูลูลขนาดใหญ่่ (Big Data) ในการขับับเเคล่ือื่อน
แผนพลังงานของประเทศไทย แผนพลังงานของประเทศไทย
ระบบจัดการข้อมูลขนาดใหญ่ (Big Data Management System)
ระบบจัดการข้อมูลขนาดใหญ่ (Big Data Management System) ระบบจัดการข้อมูลขนาดใหญ่ (Big Data Management System)
หลังจากที่ระบบนําข้อมูลเข้า (Data Acquisition) ทําการดึงข้อมูลทั้งหมดมาวางไว้ที่ Data Staging แล้ว โดยข้อมหูลอังาจาจกะทอี่รยะู่ใบนรบูปนขําอขง้อแมฟูล้มเข้้อาม(Dูลเaชta่น Aแcฟq้มuiJsSitOioNn)แทฟํา้มกาCรSดVึงหขร้อือมแูลฟท้มั้งหXมMดLมเาปว็นาตงไ้นว้ทหี่ รDือaอtาaจSจtะaอgยinู่ใgนรแูปล้ว
โดยข้อมูลอาจจะอยู่ในรูปของแฟ้มข้อมูลเช่น แฟ้ม JSON แฟ้ม CSV หรือแฟ้ม XML เป็นต้น หรืออาจจะอยู่ในรูป โดขยอขง้อฐามนูลขอ้อามจูลจะทอั้งยแู่ใบนบรูปSขQอLงแลฟะ้มขN้อoมSQูลเLชซ่นึ่งรแะฟบ้มบจJSัดOกNารขแ้ฟอม้มูลCขSนVาดหใหรือญแ่จฟะ้มทําXกMารLปรเปะ็มนวตล้นผลหขร้อือมอูลาจทจั้งะหอมยดู่ใโนดรยูป
5.4.5
5.4.5 5.4.5
รายงานฉบับสมบูรณ์
รายงานฉบับสมบูรณ์ รายงานฉบับสมบูรณ์
หลังจากที่ระบบนําข้อมูลเข้า (Data Acquisition) ทําการดึงข้อมูลทั้งหมดมาวางไว้ที่ Data Staging แล้ว
ของฐานข้อมูล ทั้งแบบ SQL และ NoSQL ซึ่งระบบจัดการข้อมูลขนาดใหญ่จะทําการประมวลผลข้อมูลทั้งหมดโดย
อัตโนมัติ โดยการประมวลผลในขั้นตอนแรกจะใช้กระบวนการ Extract-Transformation-Load (ETL) เพื่อทําการ ของฐานข้อมูล ทั้งแบบ SQL และ NoSQL ซึ่งระบบจัดการข้อมูลขนาดใหญ่จะทําการประมวลผลข้อมูลทั้งหมดโดย
อัตโนมัติ โดยการประมวลผลในขั้นตอนแรกจะใช้กระบวนการ Extract-Transformation-Load (ETL) เพื่อทําการ
แปลงข้อมูลที่มีโครงสร้าง (Schema) แบบเดียวกับฐานข้อมูลที่ใช้งานในปัจจุบัน (Operational Database) ซึ่งอาจจะ อัตโนมัติ โดยการประมวลผลในขั้นตอนแรกจะใช้กระบวนการ Extract-Transformation-Load (ETL) เพื่อทําการ
แปลงข้อมูลที่มีโครงสร้าง (Schema) แบบเดียวกับฐานข้อมูลที่ใช้งานในปัจจุบัน (Operational Database) ซึ่งอาจจะ
ไม่เหมาะสมกับการนําไปใช้ในการวิเคราะห์ ให้อยู่ในรูปแบบท่ีเหมาะสมกับการนําไปวิเคราะห์ เช่น การทํา Normalization, แปลงข้อมูลที่มีโครงสร้าง (Schema) แบบเดียวกับฐานข้อมูลที่ใช้งานในปัจจุบัน (Operational Database) ซึ่งอาจจะ
ไม่เหมาะสมกับการนําไปใช้ในการวิเคราะห์ ให้อยู่ในรูปแบบที่เหมาะสมกับการนําไปวิเคราะห์ เช่น การทํา Normalization,
Denormalization, การแปลงชนิดข้อมูล (Data Type), การทําความสะอาดข้อมูล (Data Cleansing) การทําข้อมูล ไม่เหมาะสมกับการนําไปใช้ในการวิเคราะห์ ให้อยู่ในรูปแบบท่ีเหมาะสมกับการนําไปวิเคราะห์ เช่น การทํา Normalization,
Denormalization, การแปลงชนิดข้อมูล (Data Type), การทําความสะอาดข้อมูล (Data Cleansing) การทําข้อมูล
ในอยู่ในรูปแฟลต (Flat data structure) หรือการจัดข้อมูลให้อยู่ในรูปของข้อมูลคิวหลายมิติ (Multi-Dimension Denormalization, การแปลงชนิดข้อมูล (Data Type), การทําความสะอาดข้อมูล (Data Cleansing) การทําข้อมูล
ในอยู่ในรูปแฟลต (Flat data structure) หรือการจัดข้อมูลให้อยู่ในรูปของข้อมูลคิวหลายมิติ (Multi-Dimension
Cube) เป็นต้น ซึ่งในการทํา ETL ของระบบต้นแบบสาธิตนี้ จะอาศัยการทํางานของโปรแกรม Microsoft SQL ในอยู่ในรูปแฟลต (Flat data structure) หรือการจัดข้อมูลให้อยู่ในรูปของข้อมูลคิวหลายมิติ (Multi-Dimension
Cube) เป็นต้น ซึ่งในการทํา ETL ของระบบต้นแบบสาธิตนี้ จะอาศัยการทํางานของโปรแกรม Microsoft SQL Server Integration Service (SSIS) ซึ่งเป็นโปรแกรม ETL ที่ได้รับการยอมรับในอุตสาหกรรม และทํางานร่วมกับ
Cube) เป็นต้น ซึ่งในการทํา ETL ของระบบต้นแบบสาธิตนี้ จะอาศัยการทํางานของโปรแกรม Microsoft SQL
Server Integration Service (SSIS) ซึ่งเป็นโปรแกรม ETL ที่ได้รับการยอมรับในอุตสาหกรรม และทํางานร่วมกับ ฐานข้อมูล Microsoft SQL Server ซึ่งจะทํางานเป็นฐานข้อมูลชั่วคราว (Temporary Database) สําหรับการทํา
Server Integration Service (SSIS) ซึ่งเป็นโปรแกรม ETL ที่ได้รับการยอมรับในอุตสาหกรรม และทํางานร่วมกับ
ฐานข้อมูล Microsoft SQL Server ซึ่งจะทํางานเป็นฐานข้อมูลชั่วคราว (Temporary Database) สําหรับการทํา Data Staging ในข้ันตอนการทํา ETL
ฐานข้อมูล Microsoft SQL Server ซึ่งจะทํางานเป็นฐานข้อมูลชั่วคราว (Temporary Database) สําหรับการทํา ้ั
รูปที่ 5.4-2 โครงสร้างการทํางาน ETL ภายใน Microsoft SSIS รูปที่ 5.4-2 โครงสร้างการทํางาน ETL ภายใน Microsoft SSIS
D
Data Staging ในขนตอนการทํา ETL
รูปิที่่ 5.4-2 โครงสร้างการที่ําางาน ETL ภัายใน Microsoft SSIS
ata Staging ในข้ันตอนการทํา ETL
รูปที่ 5.4-2 แสดงโครงสร้างโดยรวมของการทํางาน ETL ภายใน Microsoft SSIS ของระบบต้นแบบสาธิต
รูปที่ 5.4-2 โครงสร้างการทํางาน ETL ภายใน Microsoft SSIS
รูปที่ 5.โ4ค-ร2งกแารสศดึกษงโาคการงจสัดทรํา้าแงผโนดยุทรธวศมาสขตอร์แงลกะาอรอกทแําบงบากนารพEัฒTLนาภศูนาย์สใานรสMนเทicศrosoft SSIS ของระบบต้นแบบสาธิต ซึ่งจะเห็นว่ามีการแปลงข้อมูลตามขั้นตอนที่กําหนดไว้ ซึ่งถ้าขั้นตอนใดไม่สามารถประมวลผลได้ การทํางาน ETL
พลังงานแห่งชาติเพื่อรองรับการใช้ข้อมูลขนาดใหญ่ (Big Data) ในการขับเคลื่อน
รูปที่ 5.4-2 แสดงโครงสร้างโดยรวมของการทํางาน ETL ภายใน Microsoft SSIS ของระบบต้นแบบสาธิต
ซึ่งจะเห็นว่ามีการแปลงข้อมูลตามขั้นตอนที่กําหนดไว้ ซึ่งถ้าขั้นตอนใดไม่สามารถประมวลผลได้ การทํางาน ETL ทั้งหมด ก็จะถูกหยุดการทํางาน เพื่อให้มั่นใจว่าข้อมูลทุกตัวที่ผ่านการแปลงโดย ETL มีความสอดคล้องกัน สําหรับ
แผนพลังงานของประเทศไทย
รายงานฉบับสมบูรณ์
ซึ่งจะเห็นว่ามีการแปลงข้อมูลตามขั้นตอนที่กําหนดไว้ ซึ่งถ้าขั้นตอนใดไม่สามารถประมวลผลได้ การทํางาน ETL ทั้งหมด ก็จะถูกหยุดการทํางาน เพื่อให้มั่นใจว่าข้อมูลทุกตัวที่ผ่านการแปลงโดย ETL มีความสอดคล้องกัน สําหรับ
ทั้งหมด ก็จะถูกหยุดการทํางาน เพื่อให้มั่นใจว่าข้อมูลทุกตัวที่ผ่านการแปลงโดย ETL มีความสอดคล้องกัน สําหรับ ในแต่ละกล่องที่แสดงในภาพข้างต้น จะมีการทํางานด้านในเพ่ือประมวลผลในแต่ละข้ันตอน ดังแสดงในรูปที่ 5.4-3 ถัดไป
5.4-6
5.4-6 5.4-6
Final Report
รายงานฉบับสมบูรณ์
5 - 99