TechTalkThai ขอเรียนเชิญ Data Scientist และคนทำงานสาย IT ทุกท่าน เข้าร่วมฟัง Webinar ในหัวข้อเรื่อง “TechTalk Webinar: จัดการกับ Big Data อย่างมีประสิทธิภาพ ด้วย End to End Data Lake on Hadoop โดย Softnix Data Platform” เพื่อเรียนรู้ถึงปัญหาต่างๆ ที่จะเกิดกับภาคธุรกิจในการเริ่มต้นทำโครงการด้าน Big Data และแนวคิด Data Lake ที่จะนำมาใช้จัดการกับข้อมูลปริมาณมหาศาล ด้วยการใช้ Open Source Software ชื่อดังอย่าง Hadoop ที่ถูกนำมาปรับให้ภาคธุรกิจองค์กรพร้อมใช้งานได้อย่างง่ายดายโดย Softnix Data Platform ในวันพุธที่ 21 สิงหาคม 2019 เวลา 14.00 – 15.30 น. โดยมีกำหนดการและวิธีการลงทะเบียนดังนี้
รายละเอียดการบรรยาย
หัวข้อ: จัดการกับ Big Data อย่างมีประสิทธิภาพ ด้วย End to End Data Lake on Hadoop โดย Softnix Data Platform ผู้บรรยาย: คุณรุจิรพงศ์ ฤทธิ์วงศ์, กรรมการผู้จัดการ, Softnix Technology วันเวลา: วันพุธที่ 21 สิงหาคม 2019 เวลา 14.00 – 15.30 น. ช่องทางการบรรยาย: Online Web Conference จำนวนผู้เข้าร่วมสูงสุด: 100 คน ภาษา: ไทย
ยุคนี้ที่ธุรกิจต้องการทำ Digital Transformation การใช้ประโยชน์จากข้อมูลนั้นถือว่าเป็นพื้นฐานสำคัญเป็นอย่างมาก
Data Lake ซึ่งเป็นที่รู้จักกันในอีกชื่อหนึ่งคือ Modern Data Platform เป็นเทคโนโลยีที่ถูกพูดถึงเป็นอย่างมากในขณะนี้ เพื่อช่วยให้องค์กรจัดการจัดการกับข้อมูลที่หลากหลาย นำมาวิเคราะห์ เพื่อให้เข้าใจลูกค้า พัฒนาสินค้าและบริการใหม่ๆในยุคที่ทุกองค์กรต้องทำ Digital Transformation
Softnix คือหนึ่งในผู้พัฒนา End to End Data Lake Platform ที่เชี่ยวชาญการจัดการ Big Data มามากกว่า 10 ปี จึงอยากจะแชร์ประสบการณ์ สิ่งที่ท้าทายที่สุดในการจัดการข้อมูล Big Data จนนำมาซึ่งการพัฒนาเป็นผลิตภัณฑ์ Softnix Data Platform ในปัจจุบัน
ใน Webinar ครั้งนี้ทุกท่านจะได้พบกับการเล่าถึงประเด็นสำคัญที่ทุกธุรกิจองค์กรต้องคำนึงถึงในการทำโครงการด้าน Big Data, การปูพื้นฐานแนวคิดด้าน Data Lake และเทคโนโลยี Open Source Software ชั้นนำอย่าง Apache Hadoop ที่ถูกนำมาปรับแต่งให้ใช้งานได้อย่างง่ายดายใน Softnix Data Platform พร้อมรับฟังมุมมองและประสบการณ์ด้านการทำโครงการ Big Data ให้กับเหล่าธุรกิจองค์กรไทยโดยตรงจากทีมงาน Softnix
เมื่อธุรกิจในทุกวงการต้องการจะก้าวไปสู่การเป็นธุรกิจ 4.0 การนำข้อมูลมาใช้ทั้งในเชิงการทำ Big Data Analytics หรือ AI นั้นย่อมเป็นสิ่งที่หลีกเลี่ยงไม่ได้ ด้วยเหตุนี้ ทาง IBM ได้ร่วมมือกับ Hortonworks เพื่อพัฒนาโซลูชัน High Performance Big Data Platform ที่จะทำให้องค์กรพร้อมรวบรวมและวิเคราะห์ข้อมูลในทุกรูปแบบได้ในระบบหนึ่งเดียว พร้อมปรับเปลี่ยนกลยุทธ์ด้านการจัดการข้อมูลได้อย่างยืดหยุ่นและมั่นคงปลอดภัย
สร้างระบบ Big Data Analytics สำหรับองค์กร ใช้แค่ Open Source Software ทั่วไปอาจไม่เพียงพอ
ถึงแม้ว่าเทคโนโลยีต่าง ๆ ในสาย Big Data และ AI นั้น เริ่มต้นมาจากระบบ Open Source Software เป็นหลัก ซึ่งก็เป็นข้อดีที่ช่วยให้ธุรกิจสามารถเริ่มต้นและต่อขยายได้ง่าย เป็นที่รู้จักในวงกว้าง แต่หากใครเคยมีประสบการณ์ในการติดตั้งหรือดูแลรักษาระบบเหล่านี้ก็จะทราบกันดีว่าการจัดการระบบเหล่านี้ไม่ใช่เรื่องง่าย เนื่องจากภายในระบบนั้นประกอบด้วยโมดูล Open Source จำนวนหลากหลายที่ต้องทำงานเชื่อมต่อกันอย่างซับซ้อน และการอัปเดตระบบหนึ่งระบบใดก็อาจกระทบระบบอื่น ๆ ที่เกี่ยวข้องไปด้วย
รู้จักกับ Hortonworks ที่สร้างมาจากพื้นฐานของ Open Source Software Solution สำหรับ Big Data Analytics โดยเฉพาะ
Credit: Hortonworks
Hortonworks ถือเป็นผู้ผลิตรายใหญ่รายหนึ่งที่ออกมาตอบโจทย์ความต้องการข้างต้นให้กับเหล่าองค์กรโดยเฉพาะ ด้วยการพัฒนา Distribution ของระบบ Big Data Analytics ที่ใช้ Open Source Software ซึ่งผ่านการทดสอบ แก้ไข และควบคุมคุณภาพมาเรียบร้อยแล้ว พร้อมทั้งเสริมความสามารถให้การติดตั้งใช้งานหรือดูแลรักษาทำได้อย่างง่ายดายยิ่งขึ้น พร้อมให้เหล่าองค์กรนำไปใช้ได้โดยไร้กังวล
Hortonworks Data Flow (HDF) จัดการ Real-time and Live Stream Data ปริมาณมหาศาล รองรับ IoT
Credit: Hortonworks
ถึงแม้ความสามารถของ HDP นั้นจะถือว่าหลากหลายและตอบโจทย์ของธุรกิจในส่วนของ Big Data Analytics ได้แล้ว แต่ HDP เองนั้นก็ไม่ได้ครอบคลุมการใช้งานได้ในทุกกรณี เนื่องจากการวิเคราะห์ข้อมูลที่ถูกส่งเข้ามาแบบ Real-time นั้นต้องมีการใช้เทคโนโลยีที่แตกต่างออกไป และ Hortonworks ก็ให้ความสำคัญกับการใช้งานในส่วนนี้ โดยทำการพัฒนาผลิตภัณฑ์อย่าง HDF ขึ้นมาเสริมความสามารถด้านการวิเคราะห์ Real-time Data โดยเฉพาะ เพื่อรองรับ Internet of Things (IoT) Application ที่กำลังเติบโตอย่างรวดเร็วในปัจจุบัน
เสริมประสิทธิภาพและความยืดหยุ่นให้ Hortonworks ด้วยโซลูชันหลากหลายจาก IBM
Credit: IBM
ไอบีเอ็มเองเป็นผู้นำในส่วนของเอ็นเทอร์ไพรส์แพลตฟอร์ม โซลูชันทางด้านซอฟท์แวร์ และโซลูชันทางด้าน Congitive และ AI ได้ให้ความสำคัญกับเทคโนโลยีทางด้าน Big Data Analytics เป็นอย่างมากมาโดยตลอด การจับมือเป็นพันธมิตรร่วมกับ Hortonworks ในครั้งนี้ จึงเป็นทางเลือกที่ดีที่สุดสำหรับองค์กรชั้นนำทั่วโลก รวมไปถึงองค์กรที่ต้องการโซลูชันทางด้าน Big Data Analytics ที่ครบวงจร สามารถนำ Hortonworks ไปใช้ได้อย่างมีประสิทธิภาพด้วยทีมงานเปี่ยมประสบการณ์จาก IBM อีกทั้งยังได้มีการพัฒนาเทคโนโลยีใหม่ๆ หรือนำเทคโนโลยีที่ IBM เองมีอยู่มาเสริมให้กับโซลูชันของ Hortonworks ดังนี้
IBM Power Systems
แพลตฟอร์มเซิร์ฟเวอร์สำหรับงานที่ต้องการ High Performance ของไอบีเอ็ม ซึ่งปัจจุบันด้วยด้วยประมวลผลหลักบนสถาปัตยกรรมโพรเซสเซอร์ IBM POWER9 ที่ถูกออกแบบมาเพื่องานที่ต้องการประสิทธิภาพการประมวลผลข้อมูลให้ถึงขีดสุด และสามารถเข้าถึงหน่วยความจำและข้อมูลต่างได้ด้วยความรวดเร็ว ทั้งยังออกแบบมาให้สามารถทำงานได้อย่างทนทาน รองรับการทำงานตลอดเวลา 24×7 อีกทั้งยังสามารถติดตั้งการ์ดประมวลผล GPU V100 รุ่นล่าสุดจาก NVIDIA เพื่อรองรับการคำนวณข้อมูลประสิทธิภาพสูงในระบบ Deep Learning ในอนาคตได้อีกด้วย
IBM Spectrum Scale
ซอฟท์แวร์บริหารจัดการข้อมูลในรูปแบบ Parallel File System ประสิทธิภาพสูงของไอบีเอ็ม ที่จะช่วยให้ Hortonworks HDP สามารถทำหน้าที่เป็น Storage Cluster ขนาดใหญ่ รองรับระบบ Big Data Analytics และการเข้าถึงจากหลายๆ ระบบพร้อมกันได้ทันที เนื่องจากสนับสนุนโพรโตคอลที่หลากหลายไม่ว่าจะเป็น NFS, SMB, Object, POSIX และ HDFS API ลดความซ้ำซ้อนในการที่องค์กรเคยต้องจัดการเก็บข้อมูลบนอุปกรณ์สตอเรจที่หลากหลาย มีเทคโนโลยีที่เรียกว่า Automated Data Placement Policy ที่สามารถจัดการย้ายข้อมูลยังอุปกรณ์สตอเรจต่างกัน เช่น Flash Drive, SAS, NL-SAS, รวมไปถึงการย้ายข้อมูลขึ้นเทปหรือคลาวด์ได้อีกด้วย ทั้งยังรองรับการ Replicate ข้อมูลข้าม Data Center และเพิ่มขยายประสิทธิภาพเพื่อรองรับการเติมโตของระบบอย่างไร้ขีดจำกัดตามความต้องการอีกด้วย
นอกจากแพลตฟอร์มที่ทรงประสิทธิภาพ เพื่อรองรับงาน Big Data Analytics แล้ว ไอบีเอ็มและ Hortonworks ยังประสานความร่วมมือในการต่อยอดซอฟท์แวร์อื่นๆ ให้สมบูรณ์ยิ่งขึ้นได้แก่
ไอบีเอ็มยังมีแพลตฟอร์มสำเร็จรูปสำหรับเหล่านักพัฒนาระบบและ Data Scientist โดยเฉพาะ ที่มีชื่อว่า IBM Data Science Experience (DSX) ซึ่งมีเครื่องมือสำหรับการรวบรวม ปรับแต่ง และวิเคราะห์ข้อมูลครบวงจรแบบ End-to-End พร้อมให้เหล่า Data Scientist เข้ามา Collaborate หรือทำงานร่วมกันได้อย่างมีประสิทธิภาพ ด้วยหน้าจอในรูปแบบ Studio ที่คุ้นเคย ใช้งานง่าย ไม่ซับซ้อน พร้อมทั้งเครื่องมือสำเร็จรูปพร้อมใช้ ช่วยให้การบริหารจัดการโครงการการวิเคราะห์ข้อมูลของแต่ละคนหรือแต่ละแผนกทำงานประสานกันได้อย่างเป็นระบบ ทำให้องค์กรสามารถสร้าง Workflow ในการทำงานร่วมกันอย่างเป็นระเบียบแบบแผน ลดเวลาในการพัฒนาระบบได้เป็นอย่างมาก
IBM BigReplicate Plug-in
โซลูชันปลั๊กอินสำหรับการทำ Active-Active Data Replication สำหรับ Hadoop หรือระบบ Hortonworks HDP โดยเฉพาะ เสริมความทนทานให้กับระบบ Big Data Analytics ที่จะกลายเป็นหัวใจสำคัญขององค์กร รองรับทำการสำเนาข้อมูลจากระบบ Production ไปยังระบบ Development หรือระบบ Test เพื่อให้นักพัฒนาและ Data Scientist นำข้อมูลไปใช้ทดสอบหรือสร้างสรรค์ค้นหาสิ่งใหม่ ๆ ได้
IBM BigIntegrate
โซลูชันปลั๊กอินระบบ In-memory Data Integration ที่ช่วยให้การเชื่อมต่อกับระบบรอบข้างต่าง ๆ การทำ Data Profiling การจัดการกับ Metadata และการผสานระบบ Big Data Analytics เข้ากับระบบ IBM Streams ทำได้ง่าย และรวดเร็วนั่นเอง
John Matherly ผู้ก่อตั้ง Shodan ได้ออกมาเปิดเผยถึงการค้นพบว่ามี Server ที่ใช้งาน Apache Hadoop ทั่วโลกนั้น มีข้อมูลรั่วรวมกันทั้งสิ้นเกินกว่า 5 Petabyte หรือเกินกว่า 5,000 Terabyte เลยทีเดียว
Credit: Shodan
ข้อมูลทั้งหมดนั้นมาจาก HDFS-based Server จำนวนกว่า 4,487 Instance ทั่วโลก ที่มี Public IP Address และไม่ได้ทำการกำหนดค่าเรื่องการยืนยันตัวตนใดๆ ก่อนการเข้าถึงข้อมูลเลย ทำให้คนทั่วไปสามารถเข้าถึงข้อมูลเหล่านั้นได้อย่างอิสระ โดยระบบส่วนใหญ่ที่ถูกค้นพบนี้อยู่ในประเทศสหรัฐอเมริกาและจีนแทบทั้งหมด
นอกจากประเด็นด้านการถูกเข้าถึงข้อมูลโดยไม่ได้รับอนุญาตแล้ว เหล่าผู้ใช้งาน Apache Hadoop ที่ไม่ระมัดระวังเหล่านี้เองก็ควรจะต้องเกรงกลัว Ransomware กันบ้างเช่นกัน เพราะเมื่อต้นปีที่ผ่านมามีเหตุการณ์ Ransomware โจมตี Hadoop ไปแล้วเกือบ 500 เครื่อง และแน่นอนว่าด้วยข้อมูลปริมาณมหาศาลภายในระบบ Big Data เหล่านั้น การถูกเข้ารหัสไปแบบนี้คงไม่สามารถกู้คืนมาได้อย่างง่ายดายนัก
ผลการทดสอบ TPCx-BigBench for Scale Factor 10000 นี้ถูกเผยแพร่เมื่อวันที่ 13 พฤษภาคม 2017 โดยชี้ว่า Dell EMC Ready Bundle for Cloudera Hadoop และ Dell EMC PowerEdge R730XD นั้นมีค่าความคุ้มค่าแบบ Price/Performance เป็นอันดับ 1 ในการทดสอบทั้งหมดที่ผ่านมา และกลายเป็นตัวเลือกของ Server Hardware ที่น่าสนใจมากสำหรับการนำไปใช้ในระบบ Big Data Analytics ที่มี Apache Hadoop เป็นศูนย์กลาง อีกทั้ง Dell EMC ยังได้กลายเป็นผู้ผลิตรายแรกที่ได้ตีพิมพ์ผลการทดสอบแบบ SF10000 ซึ่งถือว่าเป็นการทดสอบกับ Data Set ขนาดใหญ่ที่สุดที่ 10TB และทำให้ต้องใช้ประสิทธิภาพในการทดสอบที่สูงกว่าการทดสอบอื่นๆ ที่ผ่านมา
ทั้งนี้ ผลการทดสอบมีดังนี้ครับ
Credit: Dell EMC
Load Test: 3,955.78s
Power Test: 53,087.39s
Throughput Test: 88,714.53s
Performance Metric: 495.283 BBQpm@SF10000
Total System Cost: $439,187
Price/Performance: 886.75 $/BBQpm@SF10000
Availability Date: May 12, 2017
Dell EMC เชื่อว่าการนำโซลูชันของตนไปเข้ารับการทดสอบในลักษณะนี้ จะทำให้เหล่าองค์กรสามารถตัดสินใจออกแบบและลงทุนใน Hardware สำหรับระบบ Big Data Analytics ได้ง่ายขึ้น และทำให้อัตราความล้มเหลวของโครงการ Big Data Analytics ทั่วโลกลดน้อยลงได้
Tape นั้นกลายเป็นทางเลือกที่มีความเหมาะสมสำหรับการจัดเก็บข้อมูลแบบ Long Term Archive เช่น การจัดเก็บประวัติผู้ป่วยและข้อมูลทางการแพทย์, การจัดเก็บข้อมูลการดำเนินธุรกิจย้อนหลัง และการจัดเก็บข้อมูลอื่นๆ ที่กฎหมายบังคับเอาไว้ว่าจะต้องเก็บย้อนหลังเป็นระยะเวลานานหลายปี
ในยุคที่พลังประมวลผลมีความสำคัญมากกับทุก Application สมัยใหม่ ไม่ว่าจะเป็น AI, Big Data หรือ Cognitive Computing ก็ตาม ทำให้ IBM Power ที่ออกแบบมาโดยเน้นประสิทธิภาพการประมวลผลเป็นพิเศษนี้มีแนวโน้มที่ดีมาก จากการออกแบบ Memory Bus ขนาดใหญ่ และมี Interconnect ที่หลากหลาย ส่งผลให้ในภาพรวมแล้ว IBM Power นั้นมี Price/Performance ที่ดี อีกทั้งยังมี OpenPower สถาปัตยกรรมแบบ Open Source สำหรับให้ธุรกิจขนาดใหญ่นำไปพัฒนาต่อยอดตอบโจทย์ของ Hyperscale Data Center ด้วย
Data Privacy เป็นประเด็นกับ IBM Cloud หรือไม่? หากมีหน่วยงานรัฐมาขอให้เปิดเผยข้อมูลองค์กรที่เป็นลูกค้าอยู่ IBM จะทำอย่างไร?
IBM นั้นได้เตรียมรับมือกับประเด็นที่มีความละเอียดอ่อนเหล่านี้แล้ว โดยการใช้เทคโนโลยี Encryption เข้ามาช่วย ซึ่งผู้ที่ถือครองกุญแจในการเข้าและถอดรหัสนั้นก็คือองค์กรของลูกค้าเอง ดังนั้นถึงแม้ IBM จะเป็นคนดูแล IT Infrastructure ที่อยู่บน Cloud ของแต่ละองค์กร แต่พนักงานของ IBM เองก็ไม่สามารถเข้าถึงข้อมูลเหล่านั้นหรือถอดรหัสออกมาได้เลย ดังนั้นหากมีการร้องขอข้อมูลเกิดขึ้น ก็ต้องไปร้องขอกับทางองค์กรซึ่งเป็นเจ้าของข้อมูลตัวจริงเองเท่านั้น
ทางด้านรายงาน Internet Storm Center จาก SANS เองก็สนับสนุนประเด็นนี้เช่นกัน โดยในรายงานมีการตรวจพบการ Scan Port 50070 ซึ่งเป็น Default Port ของ Hadoop namenode เพื่อใช้ในการค้นหา Hadoop Distributed File System ที่อยู่บน Public Internet นั่นเอง
ส่วน 360 Netlab ของทาง Qihoo ก็ตรวจพบการ Scan ในลักษณะเดียวกันเช่นกันจาก IP Address เพียง 2 เบอร์ในประเทศจีน แต่ก็ยังสรุปไม่ได้ชัดเจนว่าการโจมตีนี้เกิดจากฝีมือ Hacker ชาวจีนหรือไม่จากหลักฐานเพียงแค่ IP Address เท่านั้น
เมื่อ Machine Learning กำลังจะกลายเป็นเรื่องของทุกๆ ธุรกิจ ก็มีข่าวลือออกมาว่าทาง Microsoft เองกำลังซุ่มพัฒนาเทคโนโลยีทางด้าน Machine Learning อยู่ภายใต้ชื่อโครงการ Open Mind Studio ที่จะทำหน้าที่เป็นเหมือน Visual Studio สำหรับการทำ Machine Learning โดยเฉพาะ
รายละเอียดเบื้องลึกนั้นยังไม่เปิดเผยมากนัก แต่ก็มีภาพจากสไลด์ที่หลุดออกมาของ Qi Lu ผู้ดำรงตำแหน่ง Executive Vice President of Applications and Services แห่ง Microsoft ที่ระบุว่า Open Mind Studio นี้จะรองรับทั้งการทำ Machine Learning และ Deep Learning โดยสามารถเชื่อมต่อได้กับทั้ง CNTK, Caffe, MxNet, TensorFlow, Theano, Torch, Hadoop, Spark, SCOPE, ChaNa และอื่นๆ โดยสามารถทำงานบน Hardware ได้หลากหลายไม่ว่าจะเป็น CPU, GPU, FPGA, RDMA, Cloud และอื่นๆ
อันที่จริงก็ไม่ใช่เรื่องที่น่าแปลกใจมากนัก เพราะในบรรดาผู้ผลิตรายใหญ่ๆ Microsoft เองนั้นก็ถือเป็นองค์กรที่เริ่มเปิดกว้างในการรับเทคโนโลยีมากขึ้นอย่างเห็นได้ชัด การจะทำเครื่องมือที่สนับสนุนทุกเทคโนโลยีหลักในการทำ Machine Learning / Deep Learning เองก็เป็นสิ่งที่ตรงกับทิศทางของ Microsoft ในช่วงที่ผ่านมาอย่างเห็นได้ชัด
techfeedthai 