Diep in de nacht wil ik een recente gedachte delen. Eigenlijk is het niet zo nieuw, het is een oud en veelbesproken onderwerp: "Mensen die infra doen, moeten dicht bij de business staan, anders is alles een luchtkasteel." Ik heb al veel keren uitgelegd dat ons bedrijf een toonaangevende speler in AIGC is, met een focus op de anime-sector. Een probleem waar we recent mee te maken hebben, is veroorzaakt door Elasticsearch. De Artwork en gegenereerde taken die onze gebruikers openbaar publiceren, zijn allemaal doorzoekbaar. Onlangs komt het vaak voor dat sommige Data Nodes van Elasticsearch vol raken, wat leidt tot problemen met de zoekfunctionaliteit. Hoe kunnen we dit probleem snel oplossen? Voordat we verder discussiëren, moeten we nadenken over de essentie van de zoekoperatie in deze context. Mijn mening is dat het gaat om asset management. In de AIGC-context is de Prompt zonder twijfel de kernactiviteit van de gebruiker, terwijl de bijbehorende Taken en Artwork in zekere zin een preview (of eigenschap) van de activa zijn. Met deze conclusie kunnen we duidelijk begrijpen dat, tenminste in de huidige vorm, de kernattributen van de business niet mogen worden opgeofferd voor technische resultaten. Tegelijkertijd hebben we ook een observatie: de zichtbaarheid van de Artwork die onze gebruikers openbaar publiceren, verschilt van die van de Taken. Artwork is openbaar doorzoekbaar en draagt ook de verantwoordelijkheid voor SEO, terwijl Taken alleen zichtbaar zijn voor gebruikers. Dit betekent dat de toegangfrequentie en de hulpbronnenbehoefte van beide gegevens niet hetzelfde zijn. Met andere woorden, we hebben een multi-tenant behoefte voor de ES-index. Maar helaas, volgens het huidige ontwerp van ES, is het niet in staat om multi-tenant functionaliteit te bieden. Hoewel het op lange termijn onvermijdelijk zal zijn om de zoekopdrachten te optimaliseren, is het in het licht van de razendsnelle ontwikkeling van de business, splitsen van de index in verschillende clusters en het toewijzen van verschillende rekenkracht/schijfruimte op basis van de verschillende eigenschappen van de index, de beste optie voor snelle experimenten. Deze taak is momenteel aan de gang, de resultaten zijn onbekend, maar het hele proces van nadenken en strategisch spelen is iets waar ik de afgelopen jaren zelden over nadacht. Vaak is de optimale technische oplossing niet per se de optimale oplossing voor de business. Tot slot, een laatste advertentie. Ons bedrijf is op zoek naar personeel, ML Engineer, ML Data/Full Stack/Backend/Marketing en andere posities zijn beschikbaar. Als je samen iets interessants wilt doen, stuur me dan een DM, dan help ik je baas om direct in contact te komen.