อนาคตของ Big Data คือ Small Data

ลองนึกภาพว่าคุณต้องการสร้างซอฟต์แวร์เพื่อทํางาน มีสองวิธีหลักในการทําและวิธีกลางวิธีหนึ่ง

วิธีรหัส

วิธีแรกคือการตั้งโปรแกรมซอฟต์แวร์ให้ทํางาน ซึ่งฉันจะเรียกว่า "วิธีโค้ด" ในกรณีนี้ คุณทราบการโต้ตอบทั้งหมดที่อาจเกิดขึ้นและคาดการณ์ไว้ในโปรแกรมของคุณ ตัวอย่างพื้นฐานที่สุดของสิ่งนี้คือลําดับ "ถ้าอย่างนั้น" ซึ่งคุณบอกคอมพิวเตอร์ว่าหากสิ่งนี้เกิดขึ้นให้ทําเช่นนี้ ตัวอย่างเช่น หากคลิกปุ่มนี้ ให้แสดงหน้าจอนี้

วิธีโค้ดไม่ใช้ข้อมูลและไม่เกี่ยวข้องกับการฝึกอบรม ลําดับที่ตั้งโปรแกรมไว้จะเกิดขึ้นตามกําหนดโดยไม่คํานึงถึงข้อมูล เพื่อให้ชัดเจนสามารถสร้างโปรแกรมได้โดยใช้วิธีรหัสที่เขียนด้วยรหัสจริงหรือใช้เครื่องมือภาพหรือที่คล้ายกัน

วิธีรถไฟ

วิธีที่สองคือการฝึกซอฟต์แวร์ให้ทํางานโดยใช้ข้อมูลขนาดใหญ่ ซึ่งฉันจะเรียกว่า "วิธีรถไฟ" ในกรณีนี้ คุณเขียนอัลกอริทึม เช่น โครงข่ายประสาทเทียม เพื่อให้ซอฟต์แวร์ได้รับการฝึกอบรมเกี่ยวกับข้อมูล จากนั้นคุณปลดปล่อยซอฟต์แวร์บนข้อมูลและคอมพิวเตอร์จะเรียนรู้วิธีการทํางานผ่านวงจรป้อนกลับ ตัวอย่างเช่น คุณสามารถสอนซอฟต์แวร์ให้รู้จักแมวโดยการฝึกให้รู้จักแมว

แน่นอนว่าวิธีรถไฟเป็นแก่นแท้ของ ปัญญาประดิษฐ์ เรียกว่าแนวทางข้อมูลขนาดใหญ่ เพราะยิ่งมีข้อมูลการฝึกอบรมคุณภาพสูงมากเท่าใด ผลลัพธ์ก็จะยิ่งดีขึ้นเท่านั้น มีข้อมูลการฝึกอบรมขั้นต่ําที่จําเป็นเพื่อให้ได้ผลลัพธ์ที่สมเหตุสมผล

ในรูปแบบที่บริสุทธิ์ที่สุดวิธีรถไฟสามารถใช้ข้อมูลที่ไม่มีโครงสร้างและการเรียนรู้นั้นเกิดขึ้นในลักษณะที่ไม่มีผู้ดูแล ซึ่งหมายความว่ามนุษย์ไม่ได้ช่วยซอฟต์แวร์ในการฝึกอบรมเลย

อัลกอริทึมจะเรียนรู้จากบริบทโดยนัย (ไม่ใช่จากการติดฉลากที่ชัดเจน) ว่ารูปภาพที่กําหนดเป็นของแมวหรือไม่ ตัวอย่างเช่นผู้ใช้แพลตฟอร์มทั่วไปอาจใส่คําว่าแมวในคําอธิบายรูปภาพของพวกเขาในลักษณะเฉพาะกิจและเป็นธรรมชาติคําว่าแมวอาจอยู่ในบทความที่รูปภาพปรากฏขึ้นหรือหากเป็นวิดีโอผู้คนอาจพูดคําว่าแมวเมื่อแมวปรากฏขึ้น แน่นอนว่าข้อมูลผู้ใช้ทั้งหมดนี้ไม่มีโครงสร้างโดยสิ้นเชิง (ซึ่งหมายถึงยุ่งเหยิง) และอัลกอริทึมจะต้องค้นหาว่าแมวคืออะไรจากข้อมูลที่ยุ่งเหยิงนี้

แน่นอนว่าอาจมีข้อได้เปรียบอย่างมากสําหรับอัลกอริทึมที่ไม่มีผู้ดูแล นี่อาจหมายความว่าความพยายามจํานวนมากจะถูกบันทึกไว้ในส่วนของมนุษย์ในแง่ของการติดฉลากและการจัดหมวดหมู่ข้อมูล ไม่ใช่เรื่องเล็กน้อย (หรือกระตุ้นสําหรับเรื่องนั้น) ที่จะติดป้ายกํากับรูปภาพแมวหนึ่งแสนภาพอย่างถูกต้อง

ปัญหา

ปัญหาสําคัญประการหนึ่งของวิธีรถไฟที่ไม่มีโครงสร้างคือต้องการข้อมูลมากขึ้น หากไม่มีข้อมูล จะไม่สามารถฝึกด้วยวิธีนี้ได้ แนวทางการกํากับดูแลยังต้องการข้อมูลจํานวนมากดังนั้นประสบปัญหาเดียวกัน

แน่นอนว่านี่คือเหตุผลที่ผู้คนมองหาโอกาสในการใช้ AI มากกว่าการใช้ AI กับทุกสิ่ง อัลกอริทึม AI ทํางานได้ดีที่สุดเมื่อมีข้อมูลจํานวนมากสําหรับการฝึกอบรม (หรือสามารถสร้างข้อมูลจํานวนมากได้ - ในกรณีของเกม)

ปัญหาอีกประการหนึ่งของวิธีการที่ไม่มีโครงสร้างและไม่มีผู้ดูแลคือการเขียนและทดสอบอัลกอริทึมกับข้อมูลที่อยู่ในมือนั้นยากกว่ามาก อัลกอริทึมต้องมีความซับซ้อนมากขึ้นในการจัดการกับข้อมูลที่ไม่มีโครงสร้างมากกว่าที่จะต้องเป็นที่ที่ข้อมูลเป็นระเบียบและจัดหมวดหมู่

วิธีการภายใต้การดูแลจะเพิ่มความตั้งใจของมนุษย์ในกระบวนการในแง่ของวิธีการจัดหมวดหมู่ข้อมูลอย่างไรก็ตามยังคงเป็นวิธีการฝึกอบรมซึ่งเป็นแนวทางข้อมูลขนาดใหญ่ มนุษย์ที่มีความเข้าใจในอัลกอริทึมสามารถติดป้ายกํากับข้อมูลและโดยการทําเช่นนั้นลดการทํางานของอัลกอริทึม

วิธีการข้อมูลขนาดเล็ก

มีวิธีการที่เป็นการผสมผสานระหว่างรหัสและวิธีการรถไฟซึ่งฉันจะเรียกว่า "วิธีข้อมูลขนาดเล็ก" นี่คือแนวทางข้อมูลขนาดเล็กที่ฉันกล่าวถึงในชื่อเรื่อง เป็นไปได้ที่จะรวมทั้งโค้ดและเทคนิคการฝึกอบรมเพื่อลดปริมาณข้อมูลที่จําเป็นในการฝึกอัลกอริทึมอย่างมาก

สําหรับวิธีข้อมูลขนาดเล็กนักพัฒนาจะเขียนโค้ดแบบจําลองการโต้ตอบ แต่โมเดลนี้ได้รับการฝึกฝนเกี่ยวกับชุดข้อมูลที่เล็กกว่าที่จําเป็นสําหรับข้อมูลขนาดใหญ่ที่เข้าใกล้ ส่งผลให้โมเดลได้รับการฝึกฝนเร็วกว่าที่จําเป็นด้วยวิธีรถไฟบริสุทธิ์

แน่นอนว่าวิธีการข้อมูลขนาดเล็กนี้จะสมเหตุสมผลหากเวลาที่ต้องใช้ในการเขียนโค้ดโมเดลและฝึกข้อมูลนั้นน้อยกว่าเวลาที่ใช้ในการรวบรวมข้อมูลและฝึกอัลกอริทึมมาก

มีสถานการณ์ที่โซลูชันข้อมูลขนาดเล็กจะช่วยให้เราสามารถทําสิ่งที่ไม่สามารถเป็นไปได้ในปัจจุบัน วิธีข้อมูลขนาดเล็กเป็นวิธีเดียวที่มีให้หากไม่มีข้อมูลที่จําเป็นสําหรับวิธีรถไฟตั้งแต่แรก ในกรณีนี้อัลกอริทึมต้องได้รับการฝึกอบรมเกี่ยวกับข้อมูลที่สร้างขึ้นด้วยตนเอง โดยปกติแล้วการสร้างบันทึกหลายหมื่นรายการด้วยมือไม่สามารถทําได้จริง

แนวทางข้อมูลขนาดเล็กกําลังได้รับการวิจัยโดยบริษัท AI ซึ่งรวมถึง botpress.io และฉันคาดว่ามันจะกลายเป็นเทคนิคกระแสหลักในอีกไม่กี่ปีข้างหน้า