Small Language Models

While large language models (LLMs) are booming and discussed everywhere, there’s another important trend in the AI world—Small Language Models (SLMs).

A small language model (SLM) is a language model similar to a large language model but with a significantly reduced number of parameters. SLMs typically range from a few million to a few billion parameters, while LLMs have hundreds of billions or even trillions. For example, GPT-3 has 175 billion parameters, whereas Microsoft’s Phi-2, an SLM, has just 2 billion.

Main techniques to train SLMs:
✏️ Knowledge Distillation. A smaller model (the "student") learns from a bigger, already-trained model (the "teacher"). The student model is trained to not only match the teacher model’s predictions but also mimic its underlying process of reasoning. Typically the teacher model’s weights are frozen and cannot be changed during the distillation process.
✏️ Pruning. This is a process of getting rid of the extra bits that aren't really needed, making it smaller and faster without loosing too much accuracy.

Key advantages:
✔️ Resource Efficiency. SLMs are more compact and require fewer resources that makes them suitable for deployment on small devices.
✔️Cost-Effectiveness. They are much cheaper to train and deploy compared to LLMs.
✔️ Customization. SLMs can be fine-tuned on specific datasets, making them highly efficient for specialized tasks in particular industries.
✔️ Security. SLMs can be deployed locally or in private cloud environments, keeping sensitive data under organizational control.

There’s no one-size-fits-all solution when it comes to AI adoption. Every business will focus on efficiency and select the best and most cost-effective tool to get the job done properly. Architects should carefully select the right-sized model for each project based on its goals and constraints.

#aibasics

Dyrektor generalny TikToka Shou Chew dziękuje Trumpowi za jego wysiłki, chwaląc jego zaangażowanie w utrzymanie dostępności aplikacji w USA

https://interestingengineering.com/culture/trumps-tiktok-crusade-fades

https://x.com/ECRparty/status/1881778233580171417?t=muhASSKk76Ca1lyogDs1gQ&s=09
#USA #TRUMP 🤝 #ECR #PE #MORAWIECKI #MELONI
#Zaprzysieżenie

Mastodon (aplikacja internetowa) – Wikipedia, wolna encyklopedia
https://pl.wikipedia.org/wiki/Mastodon_(aplikacja_internetowa)

Ciekawe tylko ile wytrzyma taka 800 razy wydajniejsza karta 😁
https://ithardware.pl/aktualnosci/chiny_nvidia_algorytm_gpu-38599.html

PS: zdaje się że w oryginalnym doniesieniu było 800 ale PROCENT, więc rezultat nie jest znowu taki oszałamiający - w programowaniu równoległym dobry algorytm może podnieść wydajność o rząd wielkości.

Chińska sztuczna inteligencja ma oczywiście wbudowaną cenzurę!
https://youtu.be/Sb1-9rFno3I?si=Ke0kFdl3ZdB4zB_y
#AI #Chiny #deepseek #cenzura
PS: co nie znaczy, że inne pokażą wam wszystko 😁

Miliony ludzi na całym świecie otworzyły konta w serwisie chińskiej firmy #DeepSeek, aby korzystać z jej modelu sztucznej inteligencji. Nie wiedzieli(?), że pozwalają na dostęp do swoich danych i sekretów gigantowi chińskiej telekomunikacji, zakazanemu w USA.

Pod koniec stycznia na świecie stało się głośno o chińskiej firmie DeepSeek i jej modelu sztucznej inteligencji, który przedstawiano jako konkurenta amerykańskiego ChatuGPT - tyle że tańszego, pożerającego mniej energii, a nawet zbudowanego za ułamek pieniędzy, jakie w opracowanie #ChatGPT zainwestowała amerykańska spółka #OpenAI.

#AI #Chiny #wywiad #służby

PS: Ale z każdej dużej aplikacji #Www i tak służby w jakiś sposób korzystają. Dlatego mamy różne ograniczenia w szyfrowaniu 😁

Firma #Wiz opublikowała niepokojący wpis informujący o znalezieniu niezabezpieczonej instancji kolumnowej bazy danych opracowanej przez Yandexa – #ClickHouse. To otwartoźródłowe narzędzie typu #OLAP (Online Analytical Processing) stworzone do szybkiego przetwarzania dużych zbiorów danych. Interakcje z bazą danych można prowadzić przy pomocy języka SQL.

W chwili gdy #DeepSeek uzyskał rozgłos za sprawą publikacji modelu R1 (który w testach wyprzedza model GPT-4o), badacze z Wiz przeskanowali widoczne z Internetu zasoby firmy. Znaleźli przeszło trzydzieści aplikacji i API. Ich uwagę zwróciły jednak nietypowe otwarte porty TCP – 8123 i 9000 dostępne na następujących hostach:

http[:]//oauth2callback.deepseek[.]com:8123
http[:]//dev.deepseek[.]com:8123
http[:]//oauth2callback.deepseek[.]com:9000
http[:]//dev.deepseek[.]com:9000
Po szybkiej analizie ustalono, że jest to publicznie dostępny interfejs ClickHouse nie posiadający żadnej (!) metody uwierzytelnienia.

https://sekurak.pl/baza-danych-chinskiego-llm-deepseek-wystawiona-do-sieci-a-w-niej-historia-chatow/

#Chiny #AI

Prof. Andrzej #Dragan o sztucznej inteligencji. "Coraz mniej kontrolujemy... rozwój #AI"
https://youtube.com/watch?v=eWe8bs2Lydw&si=vk2zn6CNBbq-16Bb

🪐 NASA testuje technologię „Hive Intelligence” dla rojów satelitów kosmicznych

NASA pomyślnie przetestowała technologię „inteligentnej” grupy satelitów na niskiej orbicie okołoziemskiej. Jej istotą jest autonomiczna interakcja kilku statków kosmicznych ze sobą, bez udziału człowieka. W przyszłości system ma być wykorzystywany m.in. na orbicie księżycowej w celu zapewnienia astronautom usług nawigacyjnych.

Technologię tę przetestowano w ramach projektu Distributed Spacecraft Autonomy (DSA) prowadzonego przez Marshall Research Center należące do NASA. Ames w kalifornijskiej Dolinie Krzemowej. System pozwala poszczególnym satelitom na orbicie podejmować niezależne decyzje i wymieniać informacje z innymi statkami kosmicznymi, aby osiągnąć wspólne cele.

Zazwyczaj statkami kosmicznymi w konstelacjach orbitalnych sterują indywidualnie operatorzy na Ziemi. Jednak im jest ich więcej, tym trudniej skoordynować ich działania. Technologia autonomicznego sterowania pozwoli wszystkim urządzeniom w konstelacji na niezależne podejmowanie decyzji i zmniejszy ryzyko awarii podczas manewrowania poszczególnymi statkami kosmicznymi.

Aby zrealizować ten pomysł, specjaliści NASA opracowali oprogramowanie dla małych statków kosmicznych, które zostało przetestowane przy użyciu czterech satelitów Starling CubeSat wystrzelonych przez agencję latem 2023 roku.

W ramach eksperymentu, który odbył się od sierpnia 2023 r. do maja 2024 r., specjaliści postawili przed urządzeniami zadanie samodzielnego wykonania trudnego zadania: przeprowadzenia dynamicznego badania jonosfery Ziemi – górnej warstwy atmosfery naszej planety. Głównym celem była współpraca satelitów, mająca na celu optymalizację obserwacji naukowych. Urządzenia same decydowały o sposobie przeprowadzenia analizy, bez żadnych instrukcji od operatorów naziemnych.

Statek kosmiczny Starling odebrał sygnały GPS przechodzące przez jonosferę i ujawnił interesujące, choć niewielkie, struktury, które można zbadać dalej. Ponieważ CubeSaty nieustannie zmieniały swoje położenie względem siebie, a także względem satelitów GPS i jonosfery, konieczna była szybka wymiana informacji, aby pomyślnie zrealizować swoją misję.

Każdy satelita Starling analizował otrzymane wyniki i indywidualnie podejmował na ich podstawie działania. W miarę napływania nowych informacji satelita analizował je i modyfikował plan działania. Pozwoliło nam to na ciągłe dostosowywanie się do zmieniającej się sytuacji. Uzyskane wyniki usatysfakcjonowały specjalistów NASA. Agencja potwierdziła, że cel projektu został pomyślnie osiągnięty.

Oprócz testów na orbicie, NASA przez dwa lata przeprowadzała również testy laboratoryjne na Ziemi. Podczas nich symulowano działanie wirtualnego małego satelity typu CubeSat na orbicie księżycowej. Głównym celem symulacji było sprawdzenie zdolności „inteligentnej” konstelacji satelitów do nawigacji, określania lokalizacji i czasu. Podobnie jak system GPS na Ziemi, taka technologia mogłaby pomóc w przyszłej eksploracji powierzchni Księżyca, m.in. zapewniając nawigację astronautom.

Wyniki eksperymentów naziemnych dowodzą, że system może działać zarówno na niskich, jak i wysokich orbitach księżycowych. Według inżynierów, w takich warunkach będzie można stworzyć grupę około 60 urządzeń, które będą mogły działać autonomicznie. Zespół będzie nadal rozwijał możliwości oprogramowania, aby umożliwić sterowanie setkami satelitów z taką łatwością, jak jednym.

https://t.me/astroobserwacje

Zimna wojna o sztuczną inteligencję? "To, co stało się w 2 lata to szok ...
https://youtube.com/watch?v=7AzhPG9k_CE&si=NqvQtu4X4zpZ9rbJ
#AI #Duch

Business Insider Polska: Microsoft ogłasza inwestycję w Polsce. Donald Tusk podał kwotę...
https://businessinsider.com.pl/technologie/nowe-technologie/microsoft-zaciesnia-wspolprace-z-polska-donald-tusk-podal-kwote-inwestycji/4fe7vze
700 mln $ na moce obliczeniowe Microsoftu w Polsce. Ciekawe czy im #rządPO dopłaci do prądu, bo przy aktualnych cenach energii w Polsce to się opłaca bardziej kolejny światłowód do Turcji albo do Afryki położyć i tam postawić serwery.

🌍 GeoSpy AI nauczył się określać lokalizację na podstawie zdjęcia zrobionego w Twoim domu.

Twórcy twierdzą, że metadane zdjęcia nie są wykorzystywane w tym określeniu — sieć neuronowa ustala lokalizację na podstawie widoku z okna. Tego typu technologie mogą pomóc w poszukiwaniu rosyjskich faszystów i zbrodniarzy wojennych oraz ich późniejszym unicestwieniu.

CZAS HONORU🇵🇱
https://t.me/bip_pl

Software Complexity

Have you ever seen a project turned into a monster over time? Hard to understand, difficult to maintain? If so, I highly recommend Peter van Hardenberg’s talk - Why Can't We Make Simple Software?

The author explains what complexity is (it's not the same as difficulty!), why software gets so complicated, and what we can actually do about it.

Common reasons for complex software:
✏️ Defensive Code. Code that starts simple with implementing some sunny day scenario but grows over as more edge cases are handled. Over time, it turns into a mess with too many execution paths.
✏️ Scaling. A system designed for 100 users is really different from one built for 10 million. Handling scale often adds layers of complexity.
✏️ Leaky Abstractions. A well-designed interface should hide complexity, not expose unnecessary details. (A good discussion on this is in Build Abstractions not Illusions post).
✏️ Gap Between Model and Reality. If a software model isn't actually mapped to the problem domain, it leads to growing system complexity that really hard to fix.
✏️ Hyperspace. Problem can multiply when a system has to work across many dimensions—different browsers, mobile platforms, OS versions, screen sizes, and more.

The software architecture degrades over time with the changes made. Every change can introduce more complexity, so it’s critical to keep things simple. Some strategies to do that:
✏️ Start Over. Rebuild everything from scratch. Sometimes, it is the only way forward if the existing architecture can't support new business requirements.
✏️ Eliminate Dependencies. Less dependencies the system has, the easier it is to predict system behavior and make impact analysis.
✏️ Reduce Scope. Build only what you actually need now. Avoid premature optimizations and "nice-to-have" features for some hypothetical future.
✏️ Simplify Architecture. No comments 😃
✏️ Avoid N-to-M Complexity. Reduce unnecessary variability to limit testing scope and system interactions.

Complexity starts when interactions appear. So it is about dynamic system behavior. Watching this talk made me reflect on why systems become so complex and how I can make better design decisions.

#architecture #engineering

Żona na pilota?
Tylko dzieci z tego nie będzie na pewno.
https://www.youtube.com/watch?v=HCmDK5kqchU