📟 5 notatek o atomach, bitach, 96kb i grze .kkrieger
O "2G Tuesdays", efemeralizacji i że “zbyt długo widzieliśmy innowację w świecie bitów, a niewystarczająco w świecie atomów”.
Drodzy,
W przedostanim newsletterze pisałem o mocy operacyjnej pierwszego lądownika na Marsie Viking 1 (1970), w porównaniu z którym iPhone 15 Pro Max ma 332,746 razy większą moc operacyjną.
Obiecałem wtedy rozwinąć myśl, że w dobie nadmiaru możliwości może warto zwrócić się ponownie w stronę ograniczeń, bo one często stają się źródłem największej kreatywności i innowacyjności.
💧1. Zawody kropelkowe, 96kb i .kkrieger
🙋♀️ 2. Efemeralizacja i innowacja jako demokratyzacja
⚛️ 3. Bity vs. Atomy, Peter Thiel i klątwa Moore’a
📟 4. “2G Tuesdays”, czyli nie potrzeba a ograniczenia matką wynalazków
🚀 5. Norwid i potrzeba najpierw 140 znaków, żeby mieć latające samochody
Czas potrzebny na przeczytanie: 6 min 57 sekundy.
💧1. Zawody kropelkowe, 96kb i .kkrieger
Pamiętam moją fascynację “zawodami kropelkowymi” (usłyszałem kiedyś takie określenie, ale to chyba nieoficjalna nazwa), w którym studenci z różnych części świata budują pojazdy zdolne do osiągnięcia jak największej odległości na jednym galonie benzyny (mpg = miles per gallon).
Najpopularniejszy to Eco Marathon, który Shell organizuje od 1985 roku, gdzie już w 2003 zespół z Francji osiągnął wynik 8,914 mpg, czyli zdolność przejechania 14,345.69 km na 3.78 litrach benzyny.
W 2018 wydział Duke Engineering opracował napędzany wodorem pojazd, który osiągnął 14,573 mpg. Oczywiście w teorii taki pojazd mógłby objechać pół równika, bo wyniki osiągane są w bardzo specyficznych i kontrolowanych warunkach i nie odzwierciedlają one koniecznie warunków jazdy w rzeczywistym świecie.
Drugim moim ulubionym przykładem są zawody Breakpoint na napisanie gry komputerowej o rozmiarze poniżej 96kb. Jednym z najbardziej znanych produktów tych zawodów jest gra .kkrieger, która zajmuje 97,280 bajtów: wszystkie postacie i elementy gry łącznie z muzyką powstają w wyniku generowania proceduralnego tzn. algorytmu, a nie ręcznie wytworzonych zasobów.
Ale po co organizować takie konkursy, skoro już mamy dostęp do szybkich komputerów i normalnych samochodów?
🙋♀️ 2. Efemeralizacja i innowacja jako demokratyzacja
Pułapki wyłącznie liniowego myślenia o postępie (“więcej - lepiej”) łatwo zoobrazować prostym eksperymentem myślowym: obecny iPhone 15 Pro posiada procesor A16 Bionic (ok. 3.46 GHz). Zwiększenie mocy procesora do 6.7 GHz jest teoretycznie możliwe i pewnie wiązołoby się z podniesieniem ceny.
Ale czy faktycznie taki telefon byłby lepszy?
Nie jest to takie oczywiste. Wyższe taktowanie procesora prowadzi do większej dyssypacji ciepła (= potrzeba odprowadzania ciepła) i zużycia energii (= potrzeba lepszej baterii), pomijając fakt, że pojawiają się inne wąskie gardła np. prędkość dostępu do pamięci. W ten sposób zaczynamy już ocierać się o Paradoks Jevonsa, że “im wydajniej wykorzystujemy dany surowiec, tym bardziej rośnie jego zużycie”.
Wiemy już jednak, że na przestrzeni lat poprawa wydajności CPU wynikała nie tylko ze zwiększania taktowania, ale po prostu też z udoskonalenia architektury (dodatkowe rdzenie, lepsze mechanizmy buforowania) a dla wielu aplikacji to np. systemy optymalizujące wydajność grafiki.
Nie jest sztuką odpalić Llama 2 czy Whisper na Mac Pro z 24‑rdzeniowym CPU, 76‑rdzeniowym GPU i 32‑rdzeniowym systemem Neural Engine za 67,799.00 PLN.
Sztuką jest tak zooptymalizować oprogramowanie jak np. Whisper.cpp, żeby móc odpalić je… na telefonie. To chyba klasyczny przykład wzrostu produktywności mierzony ile więcej mogę wyprodukować przy mniejszym nakładzie, czyli pojęciu tzw. efemeralizacji wprowadzonej przez amerykańskiego architekta Buckminstera Fullera:
"do more and more with less and less until eventually you can do everything with nothing"
W tym ujęciu bliskie mi jest spojrzenie na jeden z wymiarów innowacji jako demokratyzację: “ten LLM do tej pory mogłeś odpalić tylko na serwerach AWS, dziś możesz go odpalić na Raspberry Pi za $35”.
Rzecz jednak w tym, że nadmiar możliwości ma tendencję do rozleniwiania, bo gdy tak łatwo manipulować bitami, po co sięgać do atomów?
⚛️ 3. Bity vs. Atomy, Peter Thiel i klątwa Moore’a
Piję tu do słynnego zestawienia Petera Thiela, które wprowadził podczas Gartner Symposium w Orlando w 2013, że “zbyt długo widzieliśmy innowację w świecie bitów, a niewystarczająco w świecie atomów”. "Bits" i "atoms" służą u niego do opisania dwóch różnych obszarów innowacji:
"Bity" odnoszą się do świata cyfrowego, technologii informacyjnych, takich jak Internet, oprogramowanie i technologie mobilne.
"Atomy" odnoszą się do świata fizycznego, takiego jak inżynieria, produkcja, energetyka i inne technologie materialne.
Jest w argumentacji Thiela trochę mitycznej nostalgii, że w latach 50. i 60. XX wieku technologia oznaczała nie tylko komputery, ale także kosmos, podwodne miasta, energię i energię jądrową, a teraz gdy mówimy o technologii, mamy na myśli głównie technologię komputerową, co wynika jego zdaniem z faktu, że żyjemy w erze finansowej i kapitalistycznej, a nie naukowej czy technologicznej (Goldman Sachs asks in biotech research report: ‘Is curing patients a sustainable business model?’).
Richard Hanania wskazuje na dwie przyczyny tego stanu rzeczy: po pierwsze wiele tzw. low-hanging fruits w świecie atomów zostało już zerwanych, podczas gdy rozwój oprogramowania to stosunkowo nowa dziedzina: Orville i Wilbur Wright mogli eksperymentować przez jakiś czas i odkryć jak latać, ale my już prawdopodobnie nie będziemy dokonywać postępów w lotnictwie na własną rękę. Ponadto, świat bitów - jako nowy i odznaczający się bardziej abstrakcyjną szkodliwością (np. wpływ smartfonów na zdrowie psychiczne) - był poddany znacznie mniejszym regulacjom niż świat atomów np. budowa elektrowni atomowej:
“There are endless barriers to anyone who wants to do anything that requires moving objects around rather than manipulating symbols on a screen”
Ta koncentracja na bitach sprowadziła na nas - jak to określił Vaclav Smil - klątwę Moore’a, w której na podstawie tempa wzrostu zagęszczenia tranzystorów na chipach próbujemy szacować ogólny postęp technologiczny tj. ekstrapolujemy nadmierne oczekiwania związane z postępem ludzkości, której rytm nadawać ma moc obliczeniowa procesorów.
Niestety, innowacje w dziedzinach niezdominowanych przez mikrochipy nie poddają się prawu Moore'a i dokonują się w tempie o rząd wielkości wolniejszym: w przypadku ryżu, najważniejszej uprawy w Chinach, średni plon z hektara zwiększa się w ciągu ostatniego półwiecza o 1.6% rocznie; wydajność, z jaką turbogeneratory parowe w elektrowniach przetwarzają energię cieplną w energię elektryczną, wzrastała w XX wieku o mniej więcej 1.5 % rocznie.
“Bity” wcale nie są gorsze od “atomów” ale ostatnimi laty startupy z branży oprogramowania (bity) były faworyzowane, ponieważ mogły osiągnąć szybki wzrost przy stosunkowo niższym kapitale i ryzyku.
Nie jest jednak tak, że zupełnie zapominamy o nich.
📟 4. “2G Tuesdays”, czyli nie potrzeba a ograniczenia matką wynalazków
Thielowski świat bitów to trochę analogon wyścigu na moc taktowania, w którym pojedynek odbywa się często na: “więcej, więcej, mamy więcej feature'ów” albo “ładniejsze”.
W 2015 Mark Zuckerberg wprowadził “2G Tuesdays”, który pozwalał pracownikom przekonać się, jak wygląda korzystanie z Facebooka w Internecie 2G na rynkach wschodzących. Dlaczego?
Przepisanie aplikacji, tak aby działała bezproblemowo i dawała to samo doświadczenie przy 128kb/s co przy łączu 100 Mb/s to już pojedynek na najmniejsze bity i atomy wymagający wiedzy wertykalnej (kompresja danych, adaptive streaming, zarządzanie cache, dobre zrozumienie działania protokołów i minimalizacja requestów) w miejscu wiedzy horyzontalnej czyli rozbudowy funkcjonalności i dodawania nowych narzędzi.
Koncentracja na istocie implikuje w ten sposób też docenienie prostoty i może w jakimś stopniu oddaje okrężny ruch pewnego sprzężenia zwrotnego naszego rozwoju: im dalej sięgamy w kosmos, tym silniej odczuwamy potrzebę zrozumienia tego, co mamy pod nogami i na czym stąpamy.
I tu znów pojawia się nadzieja na powrót równowagi w zainteresowaniu “atomami”.
🚀 5. Norwid i potrzeba najpierw 140 znaków, żeby mieć latające samochody
Być może całe szumne AI dając nam nieogracznione moce produkcyjne wyzwoli nas z pęt alokowania 20 inżynierów i inżynierek do rzeźbienia dashboardu w React, bo wystarczył nam będzie jako GUI zwykły terminal.
Jak w tym satyrycznym tweecie poniżej: “studenci przynoszą mi esej napisany przez AI, moje AI je ocenia i jesteśmy wolni - w końcu jesteśmy wolni i możemy iść uczyć się tego, czego chcemy”.
Daleki jestem więc od jowialnego “rzućmy teraz wszystko i piszmy w C i Assembly przesuwając bity”, bo wierzę też że nieraz potrzeba najpierw 140 znaków, żeby mieć latające samochody i gdy już się nagramy w Angry Birds da nam to trochę odwagi do zajęcia się też niesfornymi atomami, które stanowią niemniejszą stymulację intelektualną i konieczność sięgnięcia głębiej.
Jak pisał Cyprian Kamil Norwid:
Z karafki napić się można, uścisnąwszy ją za szyjkę i pochyliwszy ku ustom, ale kto ze źródła pije, musi uklęknąć i pochylić czoło.
Miłej niedzieli,
Kamil Stanuch
PS. Jak oceniasz dzisiejszy mail?