جستجوی الگوهای در داده های سهام روزانه: اولین مراحل به سمت تجزیه و تحلیل فنی داده محور

الگوهای نمودار ابزاری متداول در تجزیه و تحلیل داده های مالی است. تحلیلگران از الگوهای نمودار به عنوان شاخص ها برای پیش بینی حرکات قیمت آینده استفاده می کنند. با این حال ، الگوهای و تفسیرهای آنها ذهنی است و ممکن است منجر به استنباط متناقض و تفسیر مغرضانه شود.

در این مطالعه ، من از یک رویکرد داده محور بر اساس روشهای یادگیری ماشین هدف برای شناسایی الگوهای مجزا که به بهترین وجه داده ها را توصیف می کند و امکان بررسی قدرت پیش بینی کننده الگوها را دارد ، استفاده کردم. به طور خاص ، من از روشهای مختلف یادگیری دستگاه بدون نظارت برای جمع آوری داده های سری زمانی در کلاسهای جداگانه استفاده کردم. در کمال تعجب ، همه روشها به اتفاق آرا موافقند که عملکردهای هارمونیک ساده به بهترین وجه داده ها را توصیف می کنند. من همچنین می دانم که فیلتر کردن داده ها به زمان ، بخش یا سودآوری قدرت پیش بینی کننده ای را به خوشه ها اضافه نمی کند.

اکتشاف بیشتر داده ها هنوز مورد نیاز است. در آینده ، من می خواهم ماهیت چند مقیاس مسئله را بررسی کنم و همچنین مطالعه را گسترش دهم تا خوشه های بیشتری را در تجزیه و تحلیل بدون نظارت شامل شود.

در این مطالعه ، من از یک رویکرد داده محور بر اساس روشهای یادگیری ماشین هدف برای شناسایی الگوهای مجزا که به بهترین وجه داده ها را توصیف می کند و امکان بررسی قدرت پیش بینی کننده الگوها را دارد ، استفاده کردم. به طور خاص ، من از روشهای مختلف یادگیری دستگاه بدون نظارت برای جمع آوری داده های سری زمانی در کلاسهای جداگانه استفاده کردم. در کمال تعجب ، همه روشها به اتفاق آرا موافقند که عملکردهای هارمونیک ساده به بهترین وجه داده ها را توصیف می کنند. من همچنین می فهمم که فیلتر کردن بیشتر داده ها توسط زمان ، بخش یا سودآوری قدرت پیش بینی کننده ای را به خوشه ها اضافه نمی کند

جستجوی الگوهای در داده های سهام روزانه: اولین مراحل به سمت تجزیه و تحلیل فنی داده محور

شکل 1: سری زمانی که در 2 بعد تعبیه شده است-نتایج حاصل از تجسم به عنوان خوشه

نام من لارنس هوانگ است ، و من یک ارشد در حال افزایش در کارنگی ملون هستم که فیزیک را مطالعه می کند. من همچنین یک آمادگی برای آمادگی آلوم هستم ، که یک برنامه توسعه رهبری است که دانش آموزان امیدوار کننده دسترسی به رنگ به آموزش مدارس خصوصی را ارائه می دهد.

تابستان امسال به عنوان کارورزی برای تیم تحقیقاتی AI J. P. مورگان کار کردم. به دلیل Coronavirus ، این کارآموزی به پنج هفته کوتاه شد و کاملاً از راه دور بود. با توجه به مدت کوتاهی از کارآموزی ، بسیاری از راه های مربوط به تحقیق برای کشف وجود دارد.

زمینه و کار مرتبط

هدف تحلیل تکنیکال در معاملات ارزیابی سرمایه گذاری ها و شناسایی فرصت ها با استفاده از داده های قیمت و حجم است. بلافاصله مشخص نیست که چرا این نوع تجزیه و تحلیل در معاملات ممکن است ارزش پیش بینی داشته باشد، به خصوص در مقایسه با تحلیل بنیادی. تحلیل بنیادی به گزارش‌های مالی شرکت، وضعیت اقتصاد و روندهای صنعت نگاه می‌کند تا تعیین کند که آیا ارزش واقعی یا ارزیابی شده یک سهام منعکس‌کننده ارزش فعلی آن است. اگر قیمت فعلی کمتر از قیمت ارزیابی شده ما باشد، قیمت سهام افزایش می یابد و برعکس اگر قیمت ارزیابی شده کمتر از قیمت فعلی باشد. از سوی دیگر، در یک دیدگاه تحلیل تکنیکال، تمام اصول شناخته شده کسب و کار یک شرکت به طور آنی در قیمت سهام لحاظ می شود. بنابراین، نیازی به بررسی شرایط اقتصادی یک شرکت نیست - این قبلاً در قیمت منعکس شده است. قیمت تمام چیزی است که مهم است!

برای تحلیلگر فنی، پیش‌بینی‌ها با شناسایی الگوهایی انجام می‌شود که «معروف» هستند که منجر به یک نتیجه از پیش تعیین‌شده می‌شوند. چند الگوی نمودار معروف عبارتند از: سر و شانه، مثلث، دو بالا و غیره. اینها اشکال کلی هستند که قیمت سهام می تواند داشته باشد و تحلیلگران فنی این اشکال را برای پیش بینی در معاملات مفید یافته اند. به عنوان مثال، سر و شانه نشانه معکوس است، که نشان دهنده روند خرس گاو نر است. با این حال، پیچیدگی برای تحلیلگر فنی در انجام پیش‌بینی‌های مرتبط وجود دارد، زیرا معمولاً چندین علامت در یک سری زمانی مشخص وجود دارد. به عنوان مثال، الگوی ممکن است 70٪ سر و شانه، و 20٪ کانال به بالا باشد.

پس با تکیه بر الگوهای شناخته شده می توان ذهنیت را وارد تحلیل تکنیکال کرد. با این حال، مجموعه ای از تحقیقات از این ایده حمایت می کنند که استفاده از الگوهای نمودار در تحلیل تکنیکال ارزش پیش بینی مفیدی دارد. به عنوان مثال، برای الگوی نمودار پرچم گاو نر، دو مقاله جداگانه روش های تطبیق الگو و تعیین کمیت یک نمودار سهام معین را با الگوی نمودار پرچم گاو نر مطالعه کردند. اولین مورد از این مقالات که در سال 2002 منتشر شد، قوانین معاملاتی را بر اساس میزان مطابقت نمودار سهام با پرچم گاوی شناسایی کرد و دریافت که این قوانین معاملاتی در نمونه های خارج از نمونه موثر هستند (لی، ویلیام، و همکاران، "بازار سهام"کشف قانون تجارت با استفاده از اکتشافی نمودار فنی." سیستم های خبره با برنامه های کاربردی 23. 2 (2002): 155-159.).

دوم ، منتشر شده در سال 2007 ، بر دو شاخص بازار سهام متمرکز است - شاخص کامپوزیت NASDAQ (NASDAQ) و شاخص وزنی تایوان (TWI). این مطالعه دوم نشان داد که قوانین معاملات فنی به درستی جهت تغییرات بازار را پیش بینی می کند. همچنین نشان داد که مسابقات با الگوی پرچم گاو با بازده بالاتر ارتباط دارد (وانگ ، شیشه-طولانی و شو-هوی چان. "کشف قانون تجارت بازار سهام با استفاده از تشخیص الگوی و تجزیه و تحلیل فنی.": 304-315.). با در نظر گرفتن الگوی نمودار پرچم گاو نر به تنهایی ، این دو مقاله تحقیق جداگانه می دانند که می توان با استفاده از الگوهای نمودار ، به طور متوسط سود کسب کرد.

جستجوی الگوهای در داده های سهام روزانه: اولین مراحل به سمت تجزیه و تحلیل فنی داده محور

شکل 2: نمونه ای از الگوی پرچم گاو نر

دوم ، منتشر شده در سال 2007 ، بر دو شاخص بازار سهام متمرکز است - شاخص کامپوزیت NASDAQ (NASDAQ) و شاخص وزنی تایوان (TWI). این مطالعه دوم نشان داد که قوانین معاملات فنی به درستی جهت تغییرات بازار را پیش بینی می کند. همچنین نشان داد که مسابقات با الگوی پرچم گاو با بازده بالاتر ارتباط دارد (وانگ ، شیشه-طولانی و شو-هوی چان. "کشف قانون تجارت بازار سهام با استفاده از تشخیص الگوی و تجزیه و تحلیل فنی.": 304-315.).

با در نظر گرفتن الگوی نمودار پرچم گاو نر به تنهایی ، این دو مقاله تحقیق جداگانه می دانند که می توان با استفاده از الگوهای نمودار ، به طور متوسط سود کسب کرد.

برای مرور دقیق تر الگوهای نمودار تجزیه و تحلیل فنی ، من مقاله ای از اندرو دبلیو لو ، هری مامیسکی و جیانگ وانگ ، مبانی تحلیل فنی: الگوریتم های محاسباتی ، استنباط آماری و اجرای تجربی را توصیه می کنم. در این مقاله ، محققان ده الگوی مختلف نمودار را به صورت عمیق بررسی می کنند ، و چگونگی تشخیص الگوهای کمی.

با این وجود ، باقی مانده است که بیشتر تحقیقات در مورد الگوهای نمودار تجزیه و تحلیل فنی ، ارزیابی سودمندی آنها در تجارت یا استفاده از فن آوری های جدید برای تشخیص الگوهای نمودار را بررسی می کند.

سوال و رویکرد تحقیق

این پروژه نشان دهنده تحقیقات من در طول دوره 5 هفته کارآموزی من در JP Morgan با تیم تحقیقاتی AI است. من به جای تمرکز روی الگوهای نمودار موجود ، من بر این نکته متمرکز شدم که آیا می توانم معنایی را از هر الگوی حاصل استخراج کنم. من علاقه مند به تحقیق در مورد سؤالات زیر بودم:

• آیا می توانیم با استفاده از یادگیری بدون نظارت ، الگوهای موجود در سری سهام را شناسایی کنیم؟
• آیا الگوهای مشابه الگوهای نمودار را پیدا خواهیم کرد؟
• آیا الگویی پیدا خواهیم کرد که شاخص های خوبی از سود/ضرر بالقوه باشد؟

من از یک رویکرد داده محور استفاده کردم تا مشاهده کنم که آیا چنین الگویی در داده ها وجود دارد یا خیر. به طور خاص ، من از داده های سهام روزانه Yahoo Finance از شرکت هایی که به شاخص S& P 500 کمک می کنند (به عنوان مثال ، JPM ، Google ، Amazon و غیره) استفاده کردم اما داده ها را به 30 سال گذشته (2020-2020) محدود می کنم.

این داده ها تقریباً 30 سال برای هر شرکت در نظر گرفته شده است. من می خواستم الگوهای را در بخش های زمانی کوتاه و متوالی شناسایی کنم. بعد از برخی اکتشافات ، من 50 روز را به عنوان طول بخش های سری زمانی انتخاب کردم. نگرانی اصلی من در مورد طول سری زمانی مشکل بالقوه در یافتن الگوهای معنی دار در صورت کوتاه بودن بخش ها بود. در حالی که 50 روز معاملاتی خیلی طولانی نیست ، انتظار من این بود که این مدت برای به دست آوردن ارزش پیش بینی کننده و الگوهای قابل تشخیص کمک کند. با این وجود ، نگاه به جلو ، انجام یک اکتشاف عمیق تر و شناسایی الگوهای موجود در مقیاس زمانی طولانی تر یا متغیر جالب خواهد بود.

برای معدن برای الگوهای مداوم در بخش های سری زمانی ، من نیاز به جمع آوری بسیاری از این بخش ها داشتم. من از روش bootstrap استفاده کردم و به طور تصادفی (با جایگزینی) 50،000 قطعه 50 روز از داده ها نمونه برداری کردم. پس از نمونه برداری ، من از یکی از چندین روش خوشه بندی استفاده کردم: K- میانگین ، DBSCAN ، خوشه بندی سلسله مراتبی یا K-Means در یک سری زمانی رمزگذاری شده توسط AutoEncoder برای جدا کردن بخش ها به الگوهای قابل تشخیص.

هدف این پروژه بررسی ویژگی هایی بود که خوشه ها را متمایز می کند. به طور خاص ، من به دنبال مراکز خوشه ای بودم که شبیه به الگوهای نمودار موجود بودند ، و همچنین خوشه هایی که به طور متوسط سود/ضرر بالقوه آینده بالاتری نسبت به سایر خوشه ها داشتند.

نتایج

در این بخش ، نتیجه تمرین خوشه بندی خود را با استفاده از روش های مختلف و طول قطعه نشان می دهم. علاوه بر این ، من ویژگی های بخش های حاصل را بررسی می کنم.

در شکل 3 ، من نتیجه جدا کردن بخش ها را با استفاده از الگوریتم K- معنی نشان می دهم. در این شکل ، هر نقطه یک بخش 50 روزه را نشان می دهد که با استفاده از تعبیه T-SNE بر روی یک فضای دو بعدی تعبیه شده است. هدف در اینجا این است که از نظر کمی اطمینان حاصل شود که خوشه ها از هم جدا هستند و به طور مقدماتی کاوش می کنند ، در صورتی که هر یک از خوشه ها به عنوان نمایندگی از سودآوری قابل تشخیص باشند.

من منحنی یادگیری از جمع درون خوشه ای مربع ها را به عنوان تابعی از تعداد خوشه ها برای طیف وسیعی از اعداد (حداکثر 20) بررسی کردم. سپس من با استفاده از روش آرنج از چهار خوشه استفاده کردم. کشف تعداد بیشتری از خوشه ها ضروری است زیرا این امر فرصتی برای یادگیری الگوهای پیچیده تر - به ویژه الگوهای مورد استفاده در عمل را افزایش می دهد.

در شکل 3 ، من همچنین هر خوشه ای را با یک colormap متفاوت نشان می دهم. مقیاس با نسبت سود بالقوه به ضرر بالقوه مطابقت دارد. یعنی رنگ تیره تر ، سریال زمانی سودآورتر خواهد بود. ما سود بالقوه را به عنوان میزان سود حاصل از سرمایه گذاری 100 دلار در پایان سری زمانی و فروش با حداکثر قیمت در 20 روز تعریف می کنیم. همتای ، ضرر بالقوه ، به عنوان مبلغ از دست رفته هنگام سرمایه گذاری 100 دلار و فروش در پایین ترین نقطه در 20 روز تعریف می شود.

متأسفانه ، ما هیچ خوشه ای را نمی بینیم که به ویژه سودآور یا سودآور باشد. بنابراین ، ما به بررسی اینکه دقیقاً هر خوشه چیست ، ادامه می دهیم.

در شکل 3 ، من همچنین هر خوشه ای را با یک colormap متفاوت نشان می دهم. مقیاس با نسبت سود بالقوه به ضرر بالقوه مطابقت دارد. یعنی رنگ تیره تر ، سریال زمانی سودآورتر خواهد بود. ما سود بالقوه را به عنوان میزان سود حاصل از سرمایه گذاری 100 دلار در پایان سری زمانی و فروش با حداکثر قیمت در 20 روز تعریف می کنیم. همتای ، ضرر بالقوه ، به عنوان مبلغ از دست رفته هنگام سرمایه گذاری 100 دلار و فروش در پایین ترین نقطه در 20 روز تعریف می شود.

جستجوی الگوهای در داده های سهام روزانه: اولین مراحل به سمت تجزیه و تحلیل فنی داده محور

شکل 3: نتایج خوشه ای برای k-means ، جایی که رنگ با نسبت سود بالقوه به ضرر بالقوه تعیین می شود

پس از بررسی اینکه آیا خوشه ها با سود ارتباط دارند یا خیر ، بررسی می کنیم که آیا خوشه ها با تاریخ ارتباط دارند یا خیر. به طور خاص ، سال ، ماه و هفته ماه. با این حال ، همانطور که شکل 4 نشان می دهد ، ما در سراسر پروفایل های مشابه می بینیم. به نظر نمی رسد که خوشه های ما بر اساس زمان یا سود گروه بندی می شوند.

جستجوی الگوهای در داده های سهام روزانه: اولین مراحل به سمت تجزیه و تحلیل فنی داده محور

شکل 4: نمودارهای آرایش خوشه ای در هفته ، ماه و سال

پس از بررسی اینکه آیا خوشه ها با سود ارتباط دارند یا خیر ، بررسی می کنیم که آیا خوشه ها با تاریخ ارتباط دارند یا خیر. به طور خاص ، سال ، ماه و هفته ماه. با این حال ، همانطور که شکل 4 نشان می دهد ، ما در سراسر پروفایل های مشابه می بینیم. به نظر نمی رسد که خوشه های ما بر اساس زمان یا سود گروه بندی می شوند.

شکل 5 همبستگی گروه های مختلف را با بخش های مختلف بررسی می کند. همانطور که در شکل های 3-4، از نظر کیفی، ما نمی توانیم هیچ تفاوت قابل تشخیصی بین بخش های مختلف در شکل 5 پیدا کنیم. از آنجایی که خوشه بندی هیچ ارتباط آشکاری با هیچ یک از ابرداده های ما نشان نمی دهد، ما فرض می کنیم که خوشه بندی با الگوهای موجود در داده ها همبستگی دارد. الگو دقیقاً چیست و چگونه به نظر می رسد؟نمونه هایی از الگوهای مورد استفاده در تحلیل تکنیکال در شکل 6 مشاهده می شود. توجه داشته باشید که این الگوها منحصر به فرد نیستند و تغییرات کوچک همچنان به عنوان همان الگو به حساب می آیند. مهمتر از آن، این الگوها رفتار نوسانی را نشان می دهند همانطور که در شکل 6b مشاهده می شود.

جستجوی الگوهای در داده های سهام روزانه: اولین مراحل به سمت تجزیه و تحلیل فنی داده محور

شکل 5: نمودار میله ای آرایش خوشه بر اساس بخش

شکل 5 همبستگی گروه های مختلف را با بخش های مختلف بررسی می کند. همانطور که در شکل های 3-4، از نظر کیفی، ما نمی توانیم هیچ تفاوت قابل تشخیصی بین بخش های مختلف در شکل 5 پیدا کنیم. از آنجایی که خوشه بندی هیچ ارتباط آشکاری با هیچ یک از ابرداده های ما نشان نمی دهد، ما فرض می کنیم که خوشه بندی با الگوهای موجود در داده ها همبستگی دارد.

الگو دقیقاً چیست و چگونه به نظر می رسد؟نمونه هایی از الگوهای مورد استفاده در تحلیل تکنیکال در شکل 6 مشاهده می شود. توجه داشته باشید که این الگوها منحصر به فرد نیستند و تغییرات کوچک همچنان به عنوان همان الگو به حساب می آیند. مهمتر از آن، این الگوها رفتار نوسانی را نشان می دهند همانطور که در شکل 6b مشاهده می شود.

الگو دقیقاً چیست و چگونه به نظر می رسد؟نمونه هایی از الگوهای مورد استفاده در تحلیل تکنیکال در شکل 6 مشاهده می شود. توجه داشته باشید که این الگوها منحصر به فرد نیستند و تغییرات کوچک همچنان به عنوان همان الگو به حساب می آیند. مهمتر از آن، این الگوها رفتار نوسانی را نشان می دهند همانطور که در شکل 6b مشاهده می شود.

جستجوی الگوهای در داده های سهام روزانه: اولین مراحل به سمت تجزیه و تحلیل فنی داده محور