Fura ez a trend, hogy otthoni AI. Én valahogy pont úgy képzeltem el ezt az egészet, hogy lassan csak monitorokat fogunk venni mert minden egy távol szerveren fut majd. Erre pont az AI-nál kezdik erőltetni a chip gyártók a lokális feldolgozást.

Akkor ezek szerint az iMacekből mostanra már AiMac lett.

örülnék neki, ha végre látszódna valami az AI fejlesztésükből, mert a Siri pl. a legostobább asszisztens, amit valaha próbáltam. Kínszenvedés a használata.

Pontosan erre gondoltam én is

alma is felült de jó.

Az interfész részét miért ne raknák lokálba, ha paráznak a cégek az adataik kiszivárgásáról? A logika már mehet felhőben, ha el tudják hitetni hogy absztrahálva külön lehet választani a halmazok feldolgozását...

Ma már minden valamire való cég az adatait a felhőben tárolja kb semmi sincs csak a user gépén szóval fölösleges lenne az aggódás.

Igen, de hogyan tárolja a felhőben?

Ha rendesen le van titkosítva, akkor a felhős szolgáltató nem látja mit tárol csak azt hogy van nála X terabyte valamilyen adat (a mega esetén ezt a kliens program megcsinálja) Nem tudom hogy megy ez cégeknél...

[ Szerkesztve ]

A github copilot jellegű kódkiegészítéseknél, vagy a szövegfeldolgozó (pl. összegző) asszisztenseknél céges környezetben előny, ha nem töltődik fel az adat a netre. Emellett előfordulnak valós idejű AI szoftverek is, ahol nincs idő a szerverre töltögetni, valószínűleg ebből is egyre többet fogunk látni az évek során.

A problémát én inkább ott látom, hogy az AI modellek mérete elég gyorsan nő, így kérdéses, hogy az az NPU vagy RAM, ami a mai modellekhez még elég, mennyire lesz alkalmas a pár év múlva megjelenő modellek futtatására.

A méret nem minden. Ha sokkal tovább tréningelik a modellt akkor kis modell is erőteljes lehet lásd tinyllama 1,1 milliárd paraméter aztán nem annyira rossz (persze csodát sem szabad várni tőle) [link] vagy phi2.

Ilyen 2-3 milliárd paraméteres modelleket ki is lehet próbálni akár nem Mi képes átlagos telefonon is [link]
(Be várj ezektől a modellektől csodát de ahhoz képest hogy telefonon futnak offline durva mit tudnak)

[ Szerkesztve ]

Én próbálkoztam ezekkel a kis modellek (mint Phi 2, Starling 7B, Qwen 1.5 14B), de totál zavaradottak. A legnagyobbak (Claude 3 Opus, GPT-4, amik sokszáz vagy akár eze millárd paraméteresek) is bőven hagynak maguk után kívánni valót, ha programok megértéséről és generálásáról van szó (mint Github Copilot). Franc tudja milyen áttörések lesznek a jövőben, de azért most nem látszik, hogy bármi mélyebb megértést és megbízhatóságot igénylő feladat ne kívánna meg párszáz GB RAM-ot. Sőt, az tűnik valószínűleg, hogy ezeknek több menetben iteratívan kéne gondolkodniuk (nem úgy mint most, hogy ami elsőre "eszébe jut", azt kapásból rádönti), és az olyan megoldások nagyságrendekkel lassabba a végfelhasználó szemszögéből, tehát még gyorsabb vas dukálna.

De aztán vannak feladatok amire elég lehet a kicsi... kb. ilyen fotó/videó retusálás, leiratozás.

Valoszinuleg egy bika szerverre feltolteni valamit hogy dolgozza fel gyorsabban keszen lesz egy jo nettel mint a laptopodban levo 35w fogyasztasu ai “gyorsito”.
szerintem a cloud a jovo, kb mindenben. Az hogy ez jo-e arrol persze lehet vitatkozni.

Lesznek valami specializált pici AI modellek amik elvannak a kliensen, és szép összegért előfizetés a távoli szolgáltatásra komolyabb feladatokra. Nyilván az MS meg a Google erre megy rá, hogy mindened felhőben van (Office 365, Google Docs, stb.), és mindent összeintegrálnak a fizetős AI agent seregükkel.

Olyan felhasználásra gondolok, ahol pl. valós idejű képet, videót, hangot kell generálni/kellene feltölteni. Egyik lehetőség például egy olyan szoftver, ami a végtelenségig generál háttérzenét, ez online macerás lenne, vagy legalábbis nem annyira megbízható. Vagy már vannak DJ szoftverek, amik Apple M processzorral vagy NVIDIA kártyával elég jó minőségben szétválasztják a szöveget és a zenét, ez se lenne megbízható online.

Máskülönben egyetértek veled.

Igen, mert így fog elterjedni az AI. Egyrészt mindenki tudni fogja (te is), hogy végre az Apple megint innovált, feltalálta a spanyol viaszból lévő vaskarikát, és mindenkinél sokkal jobb AI-t fog csinálni.

De nem a google kevésbé jól sikerült cuccára épül?

Az Apple mindig egyedi ÉS innovatív, szóval nem hinném. (Aztán persze ki tudja.)

Apple-ről még nem tudjuk, hogy AI model fejlesztés terén hogy áll. De van pl. egy ReaLM nevű fejlesztésük; talán június 10-én a WWDC 2024-en meglátjuk konkrétabban. A M-es gépeik viszont nagyon népszerűek helyben futtatott AI-val játszadozó emberek közt, főleg ha sok memória kell a modellnek (videókártya max 16 GB-s van átlagembernek, Mac-ben viszont lehet akár 128 GB RAM is). AMD/Intel nem mer ebben lemaradni, mert nagyon gyorsan mozog az AI terület, és ha egyszer csak kiderül, hogy ja hoppá, mégis csak megkerülhetetlen helyben futtatásra is, akkor aki még olyankor kezd el NPU-s CPU-okat (SoC már inkább) tervezgetni, annak annyi.

Ezzel kapcsolatosan kíváncsi leszek, hogy idén is 8GB-tól indul-e a felhozatal, ami értelmesebb LLM-eknek azért nem valami sok, és itt nem számít az operációs rendszer.

Lehet, hogy lesz ilyen feladatkör. Kérdés, hogy amit pl írsz generált háttér zene ehhez kell-e AI?
Idővel kiderül mi lesz az irány.

Zene generáláshoz én még más, bármi reménnyel kecsegtető módszert nem láttam, mint AI-t. Azt viszont nem állítom, hogy ez egy fontos alkalmazás lesz...

A Suno, ami már vállalható zenéket készít, transformer alapú.

Per pillanat lehet nehezen elképzelhető, az AI generált zene, de az is nehezen elképzelhető hogy hallgatják a rádióban játszott zenéket, és mégis áttolták. Lehetséges irány, ha napjaink, producerek által generált zenéjét, még költséghatékonyabbá szeretnék tenni, akkor megszabadulnak a szerzőktől és az előadóktól. Később a hang hullámhosszától, és a zene által generált élményt, valami eddig nem használt sugárzással érik el, ami olcsóbb mint a hangkeltő berendezések.

[link]

"Sad girl piano ballad; jazz-trained female singer-songwriter": Permission is hereby granted

Erről is beszéltem... ez "generatív AI".

Egyrészt, másrészt továbbra sem látom, hogy átlag asszony, átlag ember mégis mire használná az otthon gépén az Ai -t?

Ez a generatív AI zene nekem nagyon sztereotíp és kiábrándító, mindamellett, hogy látom mennyivel jobb pl.: a Suno, mint korábban bármi a generatív AI előtt.

Engem konkrétan lenyűgöznek azok az szuper tehetséges előadók, formációk akiket számolatlanul lehet találni pl.: a youtube-on, vagy élőben. Időm nincs meghallgatni őket.
Csak pár populárisabb funk cover a generatív human intelligence nagyszerűségét alátámasztandó. Mind élő felvétel, nem klip, de utómunkálatokkal és komoly hangmérnöki munkával:

[link] Crazy funk cover, utcán felvéve, hátul a hangmérnök a laptoppal.
[link] Amikor egy Justin Bieber dal mélységet kap
[link] Daft Punk: talkbox + bigband verzióban :-)

Nehéz nem azt a következtetést levonnom, hogy az ilyen dolgokban vagyunk mi emberek igazán elemünkben és tehetségünkben és mi jobb célja lehetne az AI-nak, hogy azzal foglalkozhassunk, amiben jók vagyunk? Mi értelme azt ellaposítani és költséghatékonyítani ahol értékeset tudunk teremteni?

Nyilván a Suno és társai a leglátványosabbak, de valószínű, hogy nemsokára az AI funkciók (jobban) beépülnek a DAW-okba is, így ötvözve a kreativitást a technikai elemek szükségtelenebbé tételével. AI vokálgenerátor már létezik, AI dallamgenerátor már létezik, de nemsokára elképzelhető olyan funkció is, hogy szövegesen beírod, hogy milyen hangot szeretnél, és a gép legenerálja a szintetizátort / sample-t, vagy éppen segít a masterelésben. Az ehhez hasonló fejlesztések lényegesen felgyorsítják az ötlettől a kész termékig való eljutást, és tekintve, hogy a streaming világában minél több zenét kell megjelentetni egy-egy előadónak és minél gyakrabban, garantáltan használni fogják az efféle funkciókat.
Egy digitális zene elkészítése sok olyan technikai bíbelődéssel jár, amit szerintem sokan szeretnének elkerülni vagy könnyíteni, akár azért, hogy a kreativitásuk kiteljesedjen és ne legyen pl. dinamika nélküli a zenéjük.

Ez addig van így, amíg a fő téma (kb. a dallam, az ötlet, amiről megismersz egy számot) kitalálásban is nem lesz hatékonyabb az AI megoldás. Akkor már nem maradt semmi az emberi kreativitásból, ami "hasznos", ami pénzé fordítható. Persze van az a vonatkozás, amikor valamit csak azért szeretünk, mert emberi teljesítmény van mögötte. Lényegében a sport is ilyen, de a koncert is (nyilván, ha nem playback, és nem csak halvány árnyéka amit előadnak az albumon lévőnek). Persze elvileg lehetne az is érték mások számára, hogy de te ezt a számot magadtól találtad ki, AI nélkül (a sport effekt miatt - az emberi teljesítményt csodáljuk), csak ez nem bizonyítható mások számára, szóval ez marad otthoni rekreációs dolog.

Félreértések elkerülése végett: A Suno jelenleg rettentő unalmas, klisés zenét állít elő. De, ki tudja, pár év múlva hova jut el ez.

[ Szerkesztve ]

A sportteljesítmény a zenei vagy egyéb művészeti teljesítménynek pont az a része, amit nem értékelünk a művészetben. Nem ezt mondtad ugyan, de szerintem kb. ezzel lehet megfogni, hogy miért nem tudja hozzátenni az AI azt a részt, aminek a hiányában nem lesz igazi zene. Az viszont más kérdés, hogy túlnyomórészt a zene ma sem "igazi", legalábbis a többség nem azt fogyasztja, kizárt hogy a lángossütőnél üvöltő Despasítókat ne érje be az AI, a nóta AI-ről nem is beszélve.

[ Szerkesztve ]